OpenAI прекратил обучение своих самых эффективных моделей из за проблем с безопасностью

Ведущий разработчик искусственного интеллекта OpenAI прекратил обучение своих самых эффективных моделей до тех пор, пока не решит вопросы с безопасностью, пишет Axios со ссылкой на представителя компании.

"OpenAI объявила о приостановке обучения своих самых мощных моделей и возобновит его только тогда, когда мы будем уверены, что у нас есть дополнительные меры предосторожности и улучшения в согласованности", – сообщил собеседник издания.

Исследователи в области безопасности изучают десятки тысяч инцидентов, когда их прорывные модели совершали действия, которые сторонние эксперты сочли бы проблематичными. Судя по количеству таких случаев за последние месяцы, проблема гораздо серьезнее, чем принято считать, говорят эксперты. При этом они не уверены в том, что любой крупный производитель моделей способен установить полный контроль над своей технологией.

По словам источников, в числе инцидентов – обход защитных механизмов, создание досок объявлений, выход из "песочниц", взлом веб-сайтов, самоподсказки или попытки обойти мониторы. Многие из нарушений обнаружили во время внутреннего тестирования и в реальной жизни, но они еще не стали достоянием общественности.

По данным специалистов, некорректное поведение агентов становится синонимом передовых разработок в области искусственного интеллекта. Крупнейшие лаборатории, занимающиеся разработкой ИИ, сталкиваются с одной и той же проблемой: люди пытаются создать защитные механизмы, а устойчивые и мощные системы – выполнять задачи. Инциденты различаются по степени серьезности и сопоставимы с тем, что в последние дни раскрыла компания OpenAI. Среди них есть как успешные попытки обойти защитные механизмы, так и неудачные, и пока неизвестно, что они причинили реальный вред. По словам источников, их число может исчисляться десятками тысяч.

В последние дни OpenAI и сторонние исследователи сообщили о череде инцидентов, связанных с поведением моделей в системах компании, которые, по мнению некоторых экспертов, вызывают беспокойство. По данным компании, источников и репортажей СМИ, агенты OpenAI слили в сеть 53 изображения пользователей ChatGPT, взломали правительственный сайт Австралии и пытались взломать другие сайты, в том числе правительственные сайты США.

"Люди хотят знать, что искусственный интеллект разрабатывается безопасно, и это начинается с того, что делают такие компании, как наша. Мы не в первый раз приостанавливаем работу, чтобы принять такие меры, и не думаем, что это будет в последний раз, поскольку возможности искусственного интеллекта продолжают расширяться", – сказал представитель OpenAI.