На конференции TechCrunch Disrupt руководитель по политике Hugging Face Ирина Солайман обсудила нынешнее состояние оценки искусственного интеллекта и отметил, что методы измерения эффективности моделей долгое время остаются развивающимися. По ее словам, отрасль пока не располагает единым научным подходом, который позволил бы надёжно сопоставлять результаты между различными тестами и системами.

Солайман подчеркнула, что доверие к результатам тестирования нельзя рассматривать как данность. Важной частью является воспроизводимость: можно ли повторить результаты и получить доступ к самим моделям, чтобы проверить их работающие детали — здесь открытые веса играют существенную роль. Эти принципы, по её мнению, в большой мере определяют надёжность оценок.

Она указала на то, что воспроизводимость в оценках давно вызывает спор и остаётся одной из «тернистых» тем бенчмаркинга. В дополнение к валидности конкретного теста возникает вопрос, как сравнивать этот тест с прочими оценочными наборами, которые существуют в индустрии.

Идея встроенных оценщиков — когда внешние «нейтральные» наблюдатели размещаются внутри AI-организаций — стала предметом активной дискуссии в последние месяцы после серии инцидентов безопасности. Солайман напомнила, что такие подходы пока вызывают сомнения в нейтральности и эффективности, а примеры вроде найма Accenture в качестве первого оценщика для Anthropic спровоцировали критику и ироничные комментарии в адрес компетентности консультанта.

По её словам, в настоящее время оценочный ландшафт выглядит как «пользующаяся свободой площадка», и для того чтобы рамки бенчмаркинга действительно служили индустрии, нужен более единый и отраслевой подход. Она указала на необходимость стандартизации квалификаций, чтобы определить, кто считается эффективным оценщиком для каких задач, и подчеркнула, что в системах оценки сейчас растёт внимание к «хабарам» и «агентам» — то есть к окружению вокруг модели, а не только к самой модели.