Физики сформировали набор из 50 задач по теоретической физике, каждую из которых сопровождал проверяемый ответ. Цель эксперимента — понять, смогут ли автономные агенты решить такие задачи без подсказок человека. По итогам теста лучшим оказался Codex, реализованный в рамках модели GPT-6 Astra, который верно ответил на 49 из 50 задач. Препринт результатов опубликован на arXiv.org.

Чтобы обеспечить разнообразие задач, исследователи отобрали примеры из разных ветвей теоретической физики — от классической физики до квантовой теории поля, стохас­тических процессов, гравитации и космологии. Каждой задаче придали конкретный проверяемый ответ в виде символьного выражения или численного значения, чтобы исключить угадывание. Эксперимент предполагал два режима: реалистичный, в котором агенты могли пользоваться онлайн-литературой и локальными инструментами, и изолированный, где доступ к внешним ресурсам был исключён.

В рамках реалистичного режима Codex достиг 98-процентной точности — верно решил 49 из 50 задач. Другие участники не дотянули до такой цифры: Opus 5.5 с Claude Code CLI набрал 92 процента, Gemini 3.8 Flash с Antigravity — 68 процентов. Среди открытых моделей результаты оказались ниже: DeepSeek-V4.1 Flash — 54 процента, GLM 5.3 — 42 процента. В изолированном режиме показатели всех LLM снизились: Astra и Opus — по 92 процента, Gemini — 62 процента, GLM — 52 процента, DeepSeek — 50 процентов. Авторы отмечают, что падение качества объясняется тем, что большая часть необходимой литературы уже была воспроизведена в памяти моделей.

По наблюдениям исследователей, модели не демонстрировали способности динамически менять направление исследования: при столкновении с объёмным и сложным вопросом агенты не пытались переформулировать задачу или переключиться на разбор сходной, но не менее интересной проблемы. Эти выводы сделаны на основе разговоров с агентами вне тестов; численные данные по этому вопросу не приводились. Учёные подчёркивают, что человеческое руководство и постановка целей остаются необходимыми.