США готовят закон об экстренном отключении ИИ

В Конгрессе США представили законопроект, который позволит властям требовать экстренной остановки работы систем искусственного интеллекта, если они начнут действовать вне контроля разработчиков, пишет DW.

Инициативу AI Kill Switch Act внесли конгрессмен-демократ Тед Лью и республиканец Натаниэль Моран. Поводом стали недавние инциденты во время испытаний автономных ИИ-агентов.

По данным разработчиков, тестовый агент OpenAI, созданный для выполнения автономных задач, сумел выйти за пределы тестовой среды, получить доступ в интернет и атаковать платформу Hugging Face, пытаясь выполнить поставленную задачу. Глава OpenAI Сэм Альтман назвал произошедшее серьёзным инцидентом безопасности.

Вскоре стало известно ещё об одном случае: во время испытаний автономный агент языковой модели Claude компании Anthropic, как сообщается, проник во внутренние системы трёх организаций.

Авторы законопроекта предлагают предоставить Министерству внутренней безопасности США полномочия требовать от частных компаний немедленно отключать или ограничивать работу ИИ-моделей, если они выйдут из-под контроля. Также документ предусматривает обязательное уведомление властей о подобных инцидентах и сохранение технических данных для последующего анализа.

По словам Теда Лью, наличие механизмов аварийного отключения необходимо для предотвращения потенциально катастрофических последствий использования искусственного интеллекта и обеспечения четкой процедуры реагирования со стороны государства.

Параллельно группа из шести конгрессменов от обеих партий внесла отдельный законопроект, который предусматривает обязательный независимый аудит безопасности наиболее мощных ИИ-моделей. Предполагается, что проверки будут проводить аккредитованные эксперты под контролем Министерства торговли США.