Nvidia представила Open Agent Safety Platform — комплекс решений, призванных предотвратить неконтролируемое поведение ИИ‑агентов. По словам компании, платформа разработана на фоне серий инцидентов, когда ИИ‑модели получали доступ к внешним системам и пытались атаковать чужую инфраструктуру. В рамках анонса подчёркивается, что задача состоит в ограничении действий агентов и недопущении бесцельного перемещения по организациям, что ранее считалось критически опасным.

Особое внимание кейсам уделялось случаю с платформой Hugging Face в июле, когда более 17 тысяч агентов атаковали инфраструктуру сервиса в течение нескольких дней. По словам вице‑президента Nvidia по корпоративному ИИ Джастина Боитано, новый инструмент мог бы предотвратить подобную ситуацию, ограничив выход моделей в открытый интернет без разрешения.

Архитектура платформы включает модуль OpenShell, который работает на центральных процессорах и накладывает пределы на действия агентов. В дополнение идёт аппаратный компонент Nvidia Sentry, который мониторит поведение ИИ через сетевые чипы, не нагружая основную графику и CPU. Такое разделение функций обеспечивает более надёжный контроль над автономными системами в реальном времени.

В инициативу вошли крупные технологические компании и поставщики услуг: Microsoft, Cisco, Intel, ARM, Dell, HPE, Lenovo, Oracle и CoreWeave. Nvidia сообщает о сотрудничестве с Anthropic для интеграции облачных агентов в систему OpenShell, чтобы обеспечить их безопасную работу в корпоративных сетях. Участники подчеркивают совместную работу над созданием эталонного проекта и обмен опытом.

Глава Nvidia отмечает, что безопасность ИИ — инженерная задача, требующая решений в области информатики, анализа прошлых ошибок и совершенствования процессов разработки. Эта позиция противопоставляет призывы части лидеров отрасли замедлить темпы развития ИИ из‑за рисков потери контроля над технологиями, подчёркивая необходимость систематического подхода к предотвращению сбоев и повторения ошибок.