Языковые модели не умеют абстрактно мыслить.
Современные системы искусственного интеллекта основаны на языковых моделях, которые не способны к абстрактному мышлению.
Они хорошо распознают шаблоны, но не могут понять скрытые закономерности, особенно в задачах, требующих логики.
Исследование показало, что в ситуациях, где человек интуитивно улавливает суть, нейросети часто ошибаются.
Работа опубликована в Transactions on Machine Learning Research.
Специалисты сравнивали, как люди и искусственный интеллект решают задачи на аналогии.
Например, нужно угадать, как изменится одна строка букв по аналогии с другой. Простые случаи, такие как превращение «abcd» в «abce» и «ijkl» в «ijkm», модель решала верно.
Но когда нужно было убрать повторяющиеся буквы (как в «abbcd» → «abcd») и применить это правило к новой строке («ijkkl»), искусственный интеллект часто давал неверный ответ. Люди таких ошибок не допускали.
Особенно трудно нейросетям давались задачи, где нужно было понять общий смысл — сюжетные аналогии. Вместо логического анализа модели просто перефразировали вопрос.
Учёные пришли к выводу, что искусственный интеллект пока не умеет учиться с нуля, то есть понимать новые категории, которых не было в обучающих данных. В отличие от человека, модель не может вывести общее правило и применить его к новой ситуации.
Авторы подчёркивают, что языковые модели могут быть полезны, но их возможности абстрактного мышления сильно ограничены, и это нужно учитывать при их применении.