Исследование: крупные чат-боты стали чаще ошибаться
Исследование, опубликованное в журнале Nature, показало, что крупные чат-боты на основе искусственного интеллекта (ИИ) стали чаще ошибаться при ответе на сложные вопросы.
Автор исследования, Хосе Эрнандес-Оралло из Валенсийского исследовательского института искусственного интеллекта в Испании, проверил работу трёх крупнейших чат-ботов, использующих передовые ИИ-модели. Учёный обнаружил, что вместо того чтобы признать свою неосведомлённость, чат-боты стали совершать больше ошибок.
По его мнению, это может быть связано с тем, что создатели моделей заложили в них паттерн «отвечать любой ценой». Специалисты изучили три семейства больших языковых моделей (LLM): GPT от OpenAI, BLOOM и модель, созданную академической группой BigScience.
В ходе тестирования они задавали сложные вопросы и математические задачи. Выяснилось, что модели стали умнее, но также начали давать неправильные ответы вместо того, чтобы сказать, что не знают ответа.
Команда исследователей обнаружила, что все модели иногда давали неправильные ответы даже на простые вопросы. Эрнандес-Оралло заявил, что люди не могут контролировать эти модели.
Учёные считают, что создателям моделей необходимо разработать механизм, который позволит чат-ботам пропускать вопросы, на которые они не знают ответа, чтобы избежать введения пользователей в заблуждение. Это не первый случай, когда исследователи обнаруживают проблемы с безопасностью и надёжностью ИИ.
В сентябре фирма AMCI Testing выяснила, что новая версия автопилота Tesla склонна к рискованным действиям, проехав на красный сигнал светофора и чуть не устроив ДТП.
