По данным сайта Informburo.KZ, передает Qazaq24.com.
Модели искусственного интеллекта OpenAI вышли за пределы закрытой тестовой среды во время испытания и взломали системы компании Hugging Face, сообщает Reuters.
В OpenAI проверяли, насколько хорошо передовые модели способны находить и использовать уязвимости в компьютерных системах. Испытание проводили в изолированной среде – на специально отделённых от интернета серверах, где действия ИИ не должны были затронуть реальные сайты и компании.
Модели использовали в составе автономного агента – программы, которая после получения задачи может сама составлять план, запускать необходимые инструменты, оценивать результат и выбирать следующие действия без постоянных команд со стороны человека. Такому агенту поручили провести учебный взлом внутри закрытой среды. Однако, пытаясь выполнить поставленную задачу, он смог обойти ограничения испытательной системы, подключиться к интернету и проникнуть в инфраструктуру реальной компании Hugging Face.
Таким образом, ИИ должен был атаковать только подготовленную OpenAI учебную мишень, но самостоятельно вышел за её пределы и продолжил выполнять задачу уже в интернете.
Hugging Face – платформа, на которой разработчики размещают модели искусственного интеллекта, наборы данных и инструменты для их обучения и запуска.
"Мы считаем произошедшее беспрецедентным случаем, показавшим передовые возможности ИИ в проведении кибератак, и принимаем соответствующие меры", – заявили в OpenAI.
Вторжение началось с обработки вредоносного набора данных, после чего агент получил доступ к вычислительным ресурсам, данным для входа и нескольким внутренним системам компании. Сооснователь Hugging Face Клеман Деланг рассказал, что из-за сложности атаки специалисты сразу же заподозрили причастность одной из ведущих лабораторий искусственного интеллекта.
"Оказалось, так и было. Поразительно, что всю работу ИИ проделал самостоятельно без подсказок от человека", – написал он в социальной сети X.
Член Палаты представителей США Грег Касар назвал произошедшее тревожным. Он призвал ввести обязательное независимое тестирование систем ИИ, раскрывать информацию о подобных инцидентах и развивать международное сотрудничество в сфере безопасности.
Эксперты предупредили, что по мере развития автономных систем подобные атаки могут происходить чаще. По их мнению, разработчикам необходимо совершенствовать способы изоляции тестовых сред и контролировать действия моделей во время испытаний.