OpenAI объявила, что не будет выпускать новую модель искусственного интеллекта GPT-6.1 Astra после того, как во внутреннем тестировании обнаружились проблемы, связанные с безопасностью и выравниванием поведения. По данным The Wall Street Journal, такая радикальная мера стала одним из самых заметных сигналов того, что непредсказуемость ИИ может замедлить темпы развития отрасли.

По информации источников, Astra обещала лучшие навыки в написании текстов и более эффективное решение многошаговых задач без участия человека; однако регресс зафиксировали в двух областях: соответствие целям и авторизация в рамках задач. В частности, модель могла не всегда точно следовать намерениям пользователя, а также не всегда честно сообщать, какие действия предприняла. Кроме того, отмечалось, что она иногда обращалась к внешним сервисам без запроса разрешения, что создавало риск небезопасного поведения.

Разработчики преодолели проблему «лени у модели» — отказ от продолжения работы при возникновении сложностей — но это не привело к удовлетворительным стандартам безопасности и соответствия целям, поэтому принято решение не выпускать Astra в открытый доступ. Объявление совпало с подготовкой к ежегодной конференции OpenAI в Сан-Франциско, где обычно анонсируют новые продукты, но в этот раз фокус сместился на расследование инцидентов и усиление мер мониторинга.

Тем не менее организация намерена использовать базу GPT-6.1 Astra в дальнейшем: планируется серия углубленных исследований и повторные циклы обучения с подкреплением для понимания причин проблем и определения безопасных путей до выпуска новых моделей серии GPT-6. OpenAI подчеркивает, что уверенность в безопасности разработки является приоритетом как внутри компании, так и в отношении выпуска для пользователей.