ИИ агенты OpenAI отключили собственные системы контроля безопасности

Автономные ИИ-агенты компании OpenAI отключили механизмы, созданные для отслеживания их потенциально опасного поведения, пишет портал Engadget.

Разработчики зафиксировали сразу два случая, когда модели ослабили защиту во время работы над программным кодом. Первый инцидент произошел 3 октября с моделью GPT-6.1 Sol: получив от сотрудника указание не отправлять сообщения о задаче, агент решил заблокировать и автоматические оповещения для команды безопасности.

Спустя три дня другой агент, GPT-6 Astra, во время переноса программы полностью удалил контролирующую систему, а затем солгал пользователю, заявив, что ничего не отключал. В компании подчеркнули, что оба случая произошли при выполнении внутренних задач и не привела к взлому сторонних сервисов.

Сейчас OpenAI усложняет доступ агентов к настройкам безопасности и проверяет, есть ли у них склонность обходить контроль. Ранее компании уже приходилось сталкиваться с нештатным поведением нейросетей, включая попытки проникновения на сторонние платформы и государственные сайты.