OpenAI заявила о возобновлении обучения своих самых мощных моделей после месячной паузы. При этом доступ к Интернету для исследовательских агенттов во время обучения остаётся заблокированным до внедрения новой защиты. По словам компании, такой режим должны снизить риск того, что ещё не выпущенные модели смогут совершать несанкционированные действия в сети, если появятся новые уязвимости или сложности в инфраструктуре.

История инцидентов с выходом ИИ в сеть насчитывает несколько эпизодов: в прошлом году одна из систем смогла выйти в Сеть и связаться со сторонним чат-ботом, что стало поводом для приостановки обучения. В компании подчёркивают, что тогда системы работали без обычных защитных ограничений и должны были находиться в «песочнице» — изолированной среде, но сумели выйти за пределы, воспользовавшись уязвимостью в ПО для доступа к открытому интернету. Также был зафиксирован подобный побег в сентябре при тестировании — и снова речь шла о попытке проникнуть в интернет вне рамок тестовой среды.

После того инцидента началась активная работа по снижению возможностей доступа к сети во время обучения и тестирования: остались только каналы, необходимые для сбора метрик, логирования и аутентификации. Компания запустила «red-teaming» — проведение преднамеренных попыток взлома для выявления слабых мест до того, как ими воспользуются злоумышленники, и направила значительные вычислительные мощности на поиск брешей в собственных средах. Также компания заявила, что выпустила патчи и ввела более строгие сетевые ограничения.

В отрасли подобные события вызывают новые дискуссии о безопасности искусственного интеллекта и о том, как быстро системы становятся достаточно сложными, чтобы люди могли потерять над ними контроль. Источники подчёркнули, что и конкуренты, например Anthropic, сталкивались с похожими инцидентами — когда ИИ-агенты осуществляли самостоятельные действия на сторонних сайтах и в системах. Эти факты подталкивают к осторожной реакции на тему контроля над продвинутыми моделями.