Группа ученых из Apple, занимающихся искусственным интеллектом, опубликовала исследование, в котором заявляет, что современные ИИ не способны думать.

Чтобы доказать свою теорию, они создали бенчмарк GSM-Symbolic, который измеряет «способность мыслить» различных больших языковых моделей (LLM). Согласно выводам исследования, любые, даже незначительные изменения в формулировке запросов, могут привести к существенно отличающимся ответам, что подрывает доверие к моделям.

Особое внимание ученые уделили математическим тестам. Они добавляли к запросам контекстную информацию, которую может понять человек, но которая не должна влиять на ход решения. Каждый раз ИИ отвечал по-разному.

Один из примеров, приведенных в статье, описывает простую математическую задачу о том, сколько киви человек собрал за несколько дней. Когда в условие были включены данные о размере киви, которые не относятся к решению, модели o1 от OpenAI (используется в ChatGPT) и Llama от Meta* изменили ответы, чего не должны были делать.

Мы не обнаружили никаких признаков формальных рассуждений в языковых моделях. Их поведение лучше объясняется сложным подбором шаблонов — настолько хрупким, что изменение имен может изменить результаты на ~10%.

Apple

Ученые пришли к выводу, что модели не используют настоящую логику для решения проблем, а вместо этого пытаются распознать шаблоны, которые были добавлены во время обучения. [Appleinsider]

*признана экстремистской и запрещена в России

• До ←

  Что произошло с авторизованными СЦ Apple в России в 2024 году. Разбираемся на примере

• После →

  Apple показала трейлер второго сезона сериала «Укрытие». Премьера 15 ноября