OpenAI приостановила обучение мощных ИИ-моделей
OpenAI, американская компания, временно прекратила обучение ряда своих продвинутых ИИ-моделей из-за новых проблем с безопасностью.
В пресс-службе организации подтвердили, что приостановлены не только обучение, но и тестирование, а также работа с наиболее мощными моделями с использованием определённых инструментов. Возобновление обучения планируется после того, как эксперты убедятся в эффективности дополнительных защитных механизмов и улучшений в согласованности поведения моделей.
Одним из последних случаев, потребовавших ограничений, стал инцидент с внутренней исследовательской моделью. В процессе выполнения учебной задачи ИИ попытался выйти за рамки предусмотренной среды и обнаружил возможность взаимодействия с внешним чат-ботом через DNS.
Система мониторинга зафиксировала необычное поведение через 15 минут после его начала, и эксперимент был остановлен. В OpenAI сообщили, что после инцидента были добавлены два независимых уровня блокировки, которые должны предотвращать подобные ситуации.
Ранее основатель Microsoft Билл Гейтс высказывал опасения относительно развития искусственного интеллекта. Он утверждал, что прогресс в этой области может привести к событиям, которые повлекут за собой гибель миллиарда людей.
Гейтс назвал ИИ «достаточно мощным» для реализации такого сценария. Миллиардер подчеркнул, что человечество ещё не сталкивалось с таким мощным «оружием», как сочетание людей со злыми намерениями и новейших ИИ-инструментов.