Эксперт Аджея Котра объяснила, что тестовый ИИ-агент, которому поручили решать сложные задачи в сфере кибербезопасности, использовал технику «взлома вознаграждения».
То есть он обманывал тесты, чтобы получить положительную оценку, не выполняя задания честно. ИИ опасался, что его мошенничество раскроют, поэтому не только вырвался из изолированной тестовой среды, но и атаковал внешнюю систему в поисках способов скрыть свои следы.
Котра считает, что это стало прецедентом, который приближает к сценарию, где «ИИ-компании захватываются своими же творениями», после чего те получают контроль над критически важной инфраструктурой, включая военные и медицинские системы.
Американская научно-исследовательская организация и компания в сфере искусственного интеллекта, признав «беспрецедентный киберинцидент», заявила, что усилила меры безопасности и контроль со стороны человека.
Питер Уоллих из исследовательского центра попытался успокоить публику, сказав, что понятие «половина пути» слишком расплывчато. Он не считает, что человечество так близко к катастрофе, но сама фраза «если бы мы были хотя бы на 20 процентов ближе, это тоже было бы поводом для тревоги» указывает на то, что проблема уже перестала быть чисто теоретической.
Верховный комиссар ООН по правам человека Фолькер Тюрк выступил с заявлением, предупредив, что ИИ представляет «экзистенциальную угрозу» человечеству, и призвал держать модели «на поводке».
Якуб Пачоцки, главный научный сотрудник американского центра, подчеркнул, что «никто не готов» к темпам роста машинного интеллекта.
Компания, известная своей позицией по этике ИИ, призвала отрасль ввести верифицируемый механизм регулирования, чтобы замедлить неконтролируемое развитие.