Глава Microsoft Сатья Наделла в очередной раз призвал к усилению безопасности искусственного интеллекта. В публикации в соцсети X он написал, что настало время «остановиться и переоценить архитектуру доверия» к ИИ и полнее понять, как обеспечить контроль над системами, которые создают рекомендации, ответы и действия. По словам Nadеллы, не стоит рассматривать «суперинтеллект» как набор черных ящиков, которые можно просто принять или отвергнуть; такой подход требует новых механизмов защиты и прозрачности, отметил он. (источники: 6, 7)

Наделла предложил конкретные принципы для повышения надёжности: отделение самой модели от «орудия» её выполнения, внешнее оформление управляющих и защитных механизмов, документирование каждого значимого действия модели с «невзломанным» человеческим подтверждением и предоставление возможности любым авторизованным лицам при необходимости «поставить на паузу» или выключить модель в процессе работы. Он подчеркивает, что подобный подход должен начинаться с предположения о взломе и ограничивать ущерб с самого старта, используя образ «аварийного тормоза». (источники: 8, 9, 10)

Контекст заявления Наделлы — волна инцидентов вокруг крупных ИИ‑моделей, когда компании, казалось бы, теряют контроль над своими системами. В публикации упоминаются нарушения и сбои, а также то, что такие заявления происходят на фоне публикаций в индустрии о более осторожном подходе к развитию ИИ; в частности, отмечено участие Anthropic и его главы Дарьо Амоди в дискуссии о мерах предосторожности. (источники: 11)

Таким образом, верховный руководитель Microsoft призывает к системной переоценке способов конструирования и эксплуатации ИИ‑моделей, чтобы снизить риски и повысить прозрачность их решений, подчёркивая необходимость готовности «аварийного тормоза» как стандартной опции. Контекст смены риторики в отрасли указывает на растущее внимание к безопасной архитектуре и управлению моделями, а также на связь таких требований с недавними промахами в индустрии. (источники: 6, 7, 11)