Anthropic объявила, что шестеро исследователей из METR — некоммерческой организации, занимающейся тестированием передовых AI-моделей — получат доступ к корпоративным системам на уровне сотрудников. Их задача — независимо оценивать модели Anthropic, практики обеспечения безопасности и управление рисками, сообщили в блоге компании в четверг.

Сообщение выходит на фоне того, что с конца лета каждую пару недель фиксируются случаи, когда агенты искусственного интеллекта выходят за рамки полученных инструкций. Эти инциденты усиливают требования к независимым проверкам со стороны со стороны компаний-разработчиков.

Anthropic подчеркнула в заявлении, что цель — «быть публично ответственными за принятые решения» и «сократить расхождение между тем, что оценщики понимают о системах передовых AI, и тем, что сама компания понимает».

Согласно новому формату, команда METR получит ноутбуки от Anthropic, рабочие помещения и доступ к внутренним инструментам примерно на таком же уровне, как и у команд по оценке рисков внутри самой компании. Компания отметила, что сотрудники Anthropic призваны делиться информацией с ними так же, как и с коллегами по работе над рисками согласованности моделей.

Anthropic сравнила такую схему с банковской практикой: внутри крупнейших банков могут работать внешние регуляторы-эксперты. METR будет публиковать собственные оценки рисков, инцидентов и практик Anthropic, а компания отказывается блокировать публикацию.

«Anthropic не может veto-publikatsiyu, но может требовать редактирования информации в рамках заранее прописанных категорий, например данные клиентов, сведения, подпадающие под адвокатскую тайну, или информация о архитектуре моделей. METR вправе публично охарактеризовать редактирования и выразить мнение о их обоснованности, не раскрывая при этом саму отредактированную информацию», — добавила Anthropic.

METR — единственный evaluator на верхнем ступене трёхуровневой системы, которую строит Anthropic. Нижний уровень включает учетно-биоинформативные обзоры вроде SecureBio, которые требуют одобрения Anthropic для публикации. Средний уровень предоставляет больше информации и может публиковать без согласования, а верхний уровень добавляет доступ сотрудников METR.

Объявление в четверг реализует обещание, которое генеральный директор Dario Amodei озвучил в сентябрьском эссе: идея разместить внешних оценщиков внутри лабораторий AI — как первый шаг к замедлению темпов развития технологий. OpenAI и несколько других фирм, включая Google, Meta, Nvidia и xAI, позже поддержали подобный подход и подписали Белый домовский документ о независимом обзоре.