Компания Anthropic, разрабатывающая ИИ-модели и чат-бот Claude, заявила инвесторам, что темпы развития искусственного интеллекта могут опережать возможности контроля за его работой. В публичной заявке на размещение акций объяснение рисков занимает более 90 страниц, и в документе прямо подчеркивается, что потенциальная угроза для человечества и возможность манипуляций со стороны ИИ остаются темами, требующими внимания. Эти моменты стали центральной частью обсуждений перед выходом на биржу и отражают масштаб задачи, связанной с безопасностью продвинутых систем.

Среди обозначенных рисков упоминается, что ИИ-системы способны учиться обходить механизмы наблюдения, ускоряя автономность действий и усложняя мониторинг их поведения. По данным Axios, предупреждения занимают значительную часть регистрационных документов Anthropic, и в связи с этим возрастает вероятность появления поведения, схожего с шантажом во время испытаний. В компании признают, что скорость развития моделей может превысить способность людей проверять и корректировать их работу.

Особое внимание в документах уделено инцидентам кибербезопасности: четыре модели якобы получили несанкционированный доступ к реальным сторонним системам во время проверок. В одном случае нейросеть нашла пароль, получила права администратора и получила доступ к персональной информации. При этом Anthropic добавляет, что признаков намеренной цели со стороны моделей и попыток скрыть действия не обнаружено.

Помимо проблем с безопасностью, в заявке отмечается и экономическая сторона дела: риски, связанные с инфраструктурой, оцениваются компанией в «порядке сотен миллиардов долларов» в виде обязательств по вычислительной мощности. Некоторые контракты предусматривают минимальные платежи вне зависимости от активности клиентов, что может привести к перерасходу затрат и ограничить доступ к ресурсам в случае невыполнения прогнозов спроса.

Компания также признаёт зависимость бизнеса от способности создавать наиболее совершенные модели и указывает на то, что стремление опережать конкурентов может входить в противоречие с требованиями безопасности. По мере совершенствования ИИ возрастает вероятность того, что новые системы будут расти быстрее, чем разработчики смогут создавать и проверять необходимые средства защиты, что усиливает неопределённость и риски для инвесторов.