Vals, стартап, основанный в 2024 году, объявил о завершении раунда Series A под руководством Andreessen Horowitz после быстрого роста и развёртывания деятельности. По словам сооснователя Раяна Кришнана, компания ставит своей миссией исправление «очень несовершой» системы бенчмаркинга, которая не успевает за темпами появления новых моделей. В прошлом году Vals привлекла посевной раунд Led by 8VC и Bloomberg Beta. Теперь же финансирование в размере 40 миллионов долларов должно помочь перейти к более масштабному внедрению их подхода, отличающегося отсутствием публичной демонстрации конкретных тестов и фокусом на задачах в таких отраслях, как право, финансы и кодирование. (ID блока: 2)

Кришнан, которому 25 лет, учился в Стэнфорде и ранее проходил стажировку в Palantir; он подчеркивает, что Vals возник из наблюдений над тем, как benchmarking отставал от реального прогресса индустрии. По его словам, «мы видели, как появляются новые, очень способные модели, а академические бенчмарки не успевают за этим горизонтом». Именно поэтому, как он объясняет, тестирование должно подтверждать, что модели могут выполнять работу на уровне качества продукта в разных сферах. (ID блока: 3,4)

Валс не раскрывает конкретные материалы своих тестов. Это позволяет, по словам Кришнана, избегать ситуации, когда компании обучают модели на целью повышения баллов по известным тестам и тем самым «могут обмануть экзамен» — система оценивает реальные способности моделей в контексте задач отраслевой направленности. Помимо проверки общего знания, платформа оценивает умение моделей выполнять сложные задачи в конкретных сферах — правда, на таких станциях, как право, финансы или программирование. (ID блока: 7)

Кришнан отмечает: идея Vals — проверить не только позитивные результаты, но и негативные последствия работы моделей. Их цель — понять, какие бы могли быть последствия, если модели «запускались бы на волне» в реальном мире. Такой подход, по его словам, помогает анализировать риски и влияние внедрения ИИ на общество. (ID блока: 9)

Помимо классических отраслевых тестов, Vals расширяет охват в новые сферы — в число тестируемых задач попали такие направления, как самосовершенствование на уровне рекурсии, здравоохранение, кибербезопасность, биобезопасность и даже правовые нормы, связанные с применением Женевской конвенции к моделям. По словам Кришнана, цель состоит в том, чтобы понять, как ИИ может применяться в самых разных областях и какие требования к моделям в этих контекстах. (ID блока: 10)

Сама компания утверждает, что её услуги становятся всё более востребованными: сейчас выручка Vals примерно в восемь раз выше прошлогодней, а команда из восьми сотрудников увеличилась до 25 человек. Планируется переезд в более просторный офис и набор ещё 10–15 сотрудников. Также компания запустила программу, направленную на предоставление оценки моделей федеральным агентствам. Эти цифры и планы подчёркивают рост и расширение сервиса, который помогает компаниям принимать решения при выборе и закупке новых моделей ИИ. (ID блока: 13)

Кришнан считает, что система бенчмаркинга, которую развивает Vals, станет будущим для того, как ИИ-компании будут расти и выстраивать доверие общественности. По его словам, по мере того как ИИ-модели становятся всё более интегрированными в экономику, виды и формы оценок и тестов будут играть центральную роль в публичных заявках компаний и инвестиционных обсуждениях. (ID блока: 14,15)