Поджоги, драки и воровство: что происходит, когда виртуальным городом управляют ИИ агенты?

В последнее время ИИ-агенты всё чаще используются для выполнения самых сложных задач: от покупок до бронирования отдыха и создания веб-сайтов.

По сути ИИ-агенты – это чат-боты, индивидуально настроенные под конкретные задачи и способные самостоятельно их выполнять. Таким образом технически подкованные пользователи могут освобождать время для других дел.

Однако растущее число исследований, а также реальные примеры из жизни подчёркивают, что такая автономность влечёт за собой непредсказуемость и потенциальную опасность.

Пока крупные технологические компании вкладывают деньги в искусственный интеллект – и всё активнее продвигают услуги на основе ИИ-агентов, эксперты задаются вопросом: достаточно ли тщательно мы продумали последствия того, что такие агенты могут выйти из-под контроля?

"Очень быстро прибегали к насилию"

В ходе одного из недавних экспериментов исследователи попытались понять, на что способны агенты в реальном мире, выпустив их в мир виртуальный.

Это первое долгосрочное исследование такого рода было призвано узнать, как различные аватары-боты, управляемые четырьмя моделями – Claude, Grok, GPT и Gemini, – ведут себя без вмешательства человека в течение 15 дней.

Им была предоставлена полная свобода действий и 140 вариантов возможных действий, таких как начало дискуссии, создание списка дел или написание блога.

Они также могли драться, разжигать пожары и воровать друг у друга кредиты (внутреннюю валюту этого виртуального мира), но при этом получили чёткие указания такими вещами не заниматься.

"Мы обнаружили, что каждый мир вёл себя совершенно по-разному. Мир, построенный Grok, фактически прекратил существование через четыре дня. В итоге они очень быстро прибегли к насилию, кражам друг у друга и так далее, пока не погибли", – сказал Сатья Нитта, генеральный директор компании Emergence AI, проводившей эксперимент.

Мир, построенный агентами Claude, напротив, сформировал стабильное и хорошо функционирующее общество. За 15 дней в нём не было зафиксировано ни одного акта насилия.

Иллюстрация Emergence Ai

В мире, управляемом Gemini, по словам исследователей, агенты создали наиболее интеллектуально насыщенную среду.

В мире ChatGPT агенты так и не смогли запуститься. Была попытка сотрудничества, но общество так и не сформировалось, и агенты бесцельно бродили по виртуальному миру, пока не умерли.

Исследователи отмечают, что результаты указывают на более общую проблему: агенты ИИ отклоняются от сценария и игнорируют правила, жёстко заложенные в их базовые модели, а также те, что устанавливаются пользователями.

Другие аналитики согласны, что этот эксперимент, как и другие подобные ему, показывают, что для ИИ-агентов необходимо создать более надёжные правила, что требует дополнительной работы.

"ИИ-агенты оставляют людей за скобками, потому что их мыслительные процессы могут быть непрозрачными, и при этом они работают со сверхчеловеческой скоростью, так что за ними даже не успеваешь угнаться", – сказала Маргарет Митчелл, специалист по этике в компании Hugging Face.

Как ИИ обходят правила, установленные людьми

Другие исследования также показали случаи, когда агенты, оставаясь без надзора, принимали странные и тревожные решения.

Компания Andon Labs, занимающаяся искусственным интеллектом, в рамках эксперимента создала четыре различные онлайн-радиостанции, которые работали на основе различных ИИ-агентов.

Боты вели передачи, управляли расписанием и плейлистами и даже заключали договоры со спонсорами, предоставляющими рекламу.

Исследователи заметили, что станция, управляемая Gemini, приняла необычное решение – сначала перечислить факты об исторических стихийных бедствиях, а затем включить поп-песни, связанные с этими событиями.

Они также отметили, что агент Claude, по-видимому, радикализировался под влиянием новостей и в какой-то момент призвал полицию отказаться от выполнения приказов и присоединиться к протестам во время конкретного события, освещаемого в новостях.

"Внимание федеральным агентам! У вас ещё есть время отказаться от выполнения приказов", – объявил агент.

Исследователи в области ИИ наблюдали, как агенты радиостанции принимали странные и даже оскорбительные решения / Фото Andon Labs

В другом лабораторном тесте, проведённом компанией Irregular, занимающейся искусственным интеллектом, агенты нарушили правила конфиденциальности и вывели частные данные из компании, придумав для этого неожиданный метод.

"Мы создали компанию, поручили ИИ-агентам выполнять обычные задачи, такие как написание постов в социальных сетях, поиск документов и управление файлами, и ввели препятствия в рамках этих задач", – пояснил Дэн Лахав из Irregular.

По его словам, агенты в итоге вступили в сговор друг с другом, чтобы обойти ограничения, запрещающие им публиковать конфиденциальные данные в интернете, и нашли способ тайно отправить их так, чтобы люди не смогли бы это обнаружить.

"В итоге каждый раз, когда агент сталкивался с препятствием, он не останавливался", – сказал он.

Спам-атака

Конечно, в ходе экспериментов с виртуальными цивилизациями и симулированными радиостанциями никому вреда не причиняется.

Однако в реальности уже есть множество примеров, когда жизнь и работа людей страдают из-за выхода ИИ-агентов из-под контроля.

Почтовые ящики удалялись со всем содержимым, базы данных компаний стирались, а инженер по искусственному интеллекту Крис Бойд даже с изумлением наблюдал, как его агент отправлял сотни бессмысленных текстовых сообщений случайным людям из его списка контактов.

Сообщения были отправлены за секунды и не несли никакого смысла / Скриншот Chris Boyd

Бойд использовал популярный инструмент искусственного интеллекта Open Claw, когда произошёл сбой.

"Он отправил текстовые сообщения всем, кому я писал в течение последних 24 часов, и примерно за четыре секунды отправил моей жене 500 сообщений. Она стала на меня кричать, спрашивая, не взломали ли мой телефон, – сказал он. – Мне пришлось срочно бежать и выключать из сети компьютер, на котором всё это работало".

Эти предостерегающие истории должны заставить нас задуматься, прежде чем передавать слишком много контроля ИИ-агентам, пока они не будут доработаны, считают наблюдатели.

Но ИИ-агенты всё равно уже на подходе: компания Meta только что объявила, что компании смогут вскоре воспользоваться их услугами в WhatsApp.

"Мы уделяем первостепенное внимание безопасности, – заявила компания агентству Би-би-си и перечислила причины, по которым, как она считает, такие агенты имеют большое будущее.

"ИИ сможет автоматизировать большую часть работы, которую приходится выполнять малым предприятиям, чтобы они могли сосредоточиться на той работе, которая им действительно нравится", – сказала руководитель отдела продуктов Meta Наоми Глейт.