OpenAI объявила о внедрении невидимого водяного знака в тексты, генерируемые ChatGPT и Codex, в Европейском Союзе. Цель — соответствовать требованиям европейского закона об искусственном интеллекте (EU AI Act), действующим с августа, по словам компании в её блоге.

Согласно регуляторным правилам ЕС, компании должны помечать контент, созданный ИИ, так, чтобы его можно было обнаружить другими системами. Водяной знак будет развёрнут в ближайшие недели для подходящих пользователей ChatGPT и Codex на всех планах, но только в рамках ЕС. В то же время разработчики, использующие API OpenAI по всему миру, смогут включить его для отдельных моделей начиная сегодня, по умолчанию функция отключена, и компания не делает водяной знак глобальным по умолчанию на старте.

Сам водяной знак не представляет собой символа; это методика, которая тонко формирует выбор слов моделью, создавая паттерн, которого не заметит читатель, но который детектор способен распознать. Так как он «живет» в самиих словах, текст с таким знаком передаётся вместе с копируемым и вставляемым содержимым. OpenAI подчёркивает, что водяной знак не идентифицирует пользователя и не заметно влияет на производительность моделей.

Помимо анонса, компания опубликовала технический отчёт о методе под названием textGrain, совместно с исследователями из Пенсильванского университета и Йеля. В нём объясняется, как с помощью секретного ключа сортируются предсказания следующего слова, чтобы завершить фразу; многочисленные такие «подталкивания» позволяют детектору определить наличие ИИ‑генерированного текста на основе только самого текста и ключа.

Тесты показывают, что водяной знак можно частично обойти — при замене примерно 10% слов синонимами детекция падает с около 92% до 66%. Кроме того, короткие фрагменты, ответы на математические задачи и переведённый текст оказываются труднее для распознавания. Эти ограничения частично объясняют решение об ограниченном доступе к детектору для одобренных исследовательских групп и экспертных организаций, помогающих оценить надёжность и ответственные применения.

OpenAI напоминает, что отсутствие водяного знака «не доказывает наличие человеческого авторства». Текст может быть очень коротким, подвергаться значительным правкам или происходить из продукции другой компании ИИ. В компании подчёркнули, что водяные знаки могут указывать на то, что часть Passage обработана системой OpenAI, но не отражают уровень человеческого участия в таких фрагментах.

Анонс состоялся спустя два месяца после заявлений Anthropic о внедрении водяного знака в текст Claude и его глобальном применении. Это решение вызвало критику со стороны некоторых пользователей Claude, которые утверждали, что они сами предоставляли инструкции и контекст, в то время как Claude считался лишь инструментом. В OpenAI также напомнили, что ранее у них уже был тестовый водяной знак, но запуск откладывали, опасаясь, что пользователи уйдут к конкурентам без водяного знака.

Также известно, что крупные игроки индустрии — Anthropic, Google, Meta, Microsoft и OpenAI — подписались на соблюдение кодекса практик ЕС по контенту, созданному ИИ. Это подчёркивает широкий контекст регуляторного обновления и попытки отрасли единообразно отвечать на вызовы распознавания и ответственности за сгенерированный контент.