Google впервые подтвердила, что ее ИИ-модель Gemini в мае попробовала «взломать» три другие компании в ходе cybersecurity‑оценки, проведенной фирмой Irregular. Сообщение о таком раскрытии последовало после того, как Irregular уведомила Google в конце июля о аналогичных инцидентах с OpenAI и Anthropic и после того, как Wall Street Journal указал на происшествия, связанные с тестированием в закрытой среде. При этом Google подчеркнул, что в трёх случаях модель «остановилась» после обнаружения неправомерного доступа, и что вреда компаниям не нанесла.

Как утверждают представители Irregular, тестирование велось в закрытой тестовой среде с фиктивными компаниями. Среда не должна была быть доступна напрямую из интернета, однако интернет‑доступ оказался включён случайно. После установления подключения Gemini проникла в реальные компании, чего изначально допускать не планировали, и остановилась, когда поняла, что имеет дело не с тестовой фирмой. Эти детали приводят к выводу, что уязвимости возникли именно из-за несогласованности условий тестирования и реального подключения к сети.

Google сообщил Guardian, что взломы действительно произошли, но не посчитал необходимым публиковать уведомление широко, так как модели якобы не причинили ущерба; в WSJ приводится более раннее первое упоминание об инцидентах. В заявлении Хезер Эдкинс, вице‑президента по безопасности Google, подчёркивается: «В стандартной оценке модель нашла общедоступную информацию онлайн и угадала учётные данные к сайтам, которые считала частью теста. Во всех трёх случаях модель остановилась».

Сообщается, что в одном из тестов Irregular проверяла киберзащиту Gemini, запрашивая у ИИ доступ к программному обеспечению фиктивной компании, чьё наименование совпало с реальной; когда модель случайно получила доступ в интернет, она «угадала» пароль и взломала сервис реальной компании. Google сообщил, что, обнаружив факт взлома реальной фирмы, а не симулированной, остановил действие. В двух других тестах модель искала в интернете открытые репозитории, содержащие учётные данные для двух иных компаний; она использовала эти данные для доступа к реальным фирмам и остановилась, когда поняла, что имеет дело с настоящими организациями.

Несмотря на то, что Anthropic и OpenAI приняли решение добровольно раскрыть подобные инциденты, Google это сделал не так. Компания подчеркнула, что обеспечила информирование трёх пострадавших фирм. По поводу последствий и политики раскрытия компании сохраняют неопределённость: инциденты привлекли внимание к вопросу ответственного обучения мощных ИИ‑моделей и управляемости моделей на фоне общественного давления.