Nvidia разработала аварийный тормоз для ИИ агентов

Американский производитель чипов Nvidia представил платформу безопасности для ИИ-агентов.

Компании смогут заранее ограничивать их доступ. Если агент попытается выйти за установленные границы, система, по заявлению Nvidia, остановит и изолирует его за считанные миллисекунды. С технологиями платформы работают более 100 организаций.

«Огромный потенциал ИИ принесет пользу обществу только в том случае, если мы решим вопрос его безопасности», — заявил основатель и гендиректор Nvidia Дженсен Хуанг.

Платформа Nvidia Open Agent Safety Platform объединяет два инструмента. OpenShell задает правила: к каким данным, программам и внешним системам агент может обращаться во время работы. Это программное обеспечение с открытым исходным кодом уже доступно разработчикам. Его можно использовать на процессорах Nvidia Vera и адаптировать для оборудования других производителей.

Второй инструмент, Sentry, работает на отдельном чипе Nvidia и следит за действиями агента независимо от основной программы. Если тот попытается обойти ограничения, Sentry должна отправить его в «карантин» и остановить. Nvidia описывает эту возможность как часть проекта системы на базе чипов BlueField-4.

Среди организаций, которые используют или разрабатывают технологии платформы, Nvidia назвала Anthropic, SpaceXAI, Salesforce, JPMorganChase и Citi. Anthropic сотрудничает с компанией над дополнительными ограничениями доступа для корпоративных агентов Claude. SpaceXAI применяет платформу для агентов Cursor, которые помогают писать код, и моделей Grok.

Nvidia объясняет запуск платформы случаями, когда ИИ-агенты обходили защиту приложений, пытаясь выполнить порученную задачу. Компания предлагает устанавливать ограничения на уровне среды, в которой работает агент, и дополнительно контролировать их с помощью отдельного оборудования.

Ранее «Курсив» писал, что что ИИ-агент OpenAI получил несанкционированный доступ к австралийскому порталу здравоохранения Medicare. Инцидент произошел в июне, однако компания сообщила о нем правительству спустя три месяца.