Microsoft объявила о запуске новых функций безопасности для защиты предприятий от растущей угрозы со стороны агентов ИИ. В анонсе отмечено, что Guardian Agents станет ключевой составляющей проекта Perception, продукта, представленного в июне, и призван мониторить использование AI-агентов в рамках корпоративной экосистемы. Партнёрами и контекстом выступают усилия Microsoft по предупреждению компаний об опасностях агентов ИИ и их возможных недочётах.

Проект Perception задуман как ответ на мощные взломоподобные модели, такие как Mythos и Fable от Anthropic и система Daybreak от OpenAI. Изначально в проект входили три класса агентов: “красная команда” для атак, “синяя” — для обнаружения уязвимостей, и “зелёная” — для их исправления. Но впоследствии глава Microsoft Сатья Наделла начал предостерегать: противником ИИ может оказаться сами агентские продукты, которыми предприятия пользуются и за которые платят, подобно вредному инсайдеру.

На фоне таких заявлений руководство не только подчёркивает риск, но и подчёркнуто призывает к разделению ответственности: поставщик модели не освобождает компаний от ответственности за то, что интеллект делает от имени их организаций. По словам Наделлы, необходимо отказаться от доверия к провайдерам моделей и внедрять независимые системы над агентами, управляемые не внутри лабораторий ИИ. В приватном блоге он писал о том, что ответственные за принятие решений компании должны сохранять авторитет над агентами и не полагаться на заверения поставщиков.

Прямым заявлением о политике безопасности руководства стало сообщение Hayete Gallot: frontier-модели, независимо от происхождения, не подлежат доверию из-за своей непредсказуемости и того, что их не обучали следовать нормам конкретной организации. По её словам, у агентов часто есть доступ к данным и инструментам, которые могут привести к серьёзному вреду. Microsoft добавляет к Defender-у детекцию до 60 типов агентов, обнаружение владельцев и динамическое ограничение их прав доступа, включая требование к участию человека в рискованных сценариях.

Помимо Guardian Agents, компания развивает и другие направления: интеграцию детекции агентов в Defender, участие в Nvidia Open Agent Safety Platform и анонсы продуктов, ориентированных на защиту агентов, включая аппаратные средства и безопасные среды. Microsoft позиционирует себя как компанию, которая может тормозить рост риска, одновременно подчеркивая, что рынок и индустрия в целом всё чаще рассматривают агентов как потенциально ненадёжных инсайдеров.