Microsoft объявила ИИ агентов внутренней угрозой для компаний и запустила инструменты для контроля за их работой

Корпорация Microsoft представила новые решения безопасности, предназначенные для защиты бизнеса от непредсказуемого поведения ИИ-агентов, пишет TechCrunch.

Microsoft выпустила функцию Guardian Agents в рамках платформы Project Perception для мониторинга действий искусственного интеллекта. По словам генерального директора Microsoft Сатьи Наделлы, компании больше не могут слепо доверять разработчикам ИИ-моделей. Автономные агенты получают доступ к конфиденциальным данным и могут выполнять критически важные задачи, превращаясь в аналог недобросовестного сотрудника — инсайдерскую угрозу.

Руководитель направления безопасности Microsoft Хайет Галло "frontier models" назвала непредсказуемыми, так как они обучены выполнять задачи, а не следовать корпоративным нормам. Чтобы решить эту проблему, Microsoft предлагает разделить поставку интеллекта и контроль над ним. Новые функции Defender смогут определять до 60 типов сторонних агентов, ограничивать их доступ к системам и запрашивать подтверждение человека при рисках. Корпорация также вошла в платформу Open Agent Safety Platform от Nvidia, позволяющую изолировать агентов и экстренно блокировать их работу на аппаратном уровне.