Команды Яндекс и Школы анализа данных (ШАД) объявили о запуске MTGBench — бенчмарка для оценки способности нейросетей решать задачи посредством последовательного рассуждения. Инструмент опубликован на GitHub, а научная статья о нём принята к публикации на конференции EMNLP 2026, что подчеркивает академическую ценность проекта.

MTGBench включает семь текстовых игр, среди которых Поле чудес, Данетки, Элиас и Wordle. Цель набора заданий — проверить, насколько модели умеют учитывать новые вводные, использовать уже полученные ответы, планировать дальнейшие шаги и избегать противоречий. В рамках метода оценки учитываются не только итоговый правильный ответ, но и количество шагов, необходимых для его достижения. Задания представлены на русском и английском языках.

В рамках экспериментов протестировали 16 нейросетей, включая модели Qwen, Gemini и GPT. Результаты свидетельствуют: режим рассуждений ощутимо полезен в задачах с буквенными задачами, символами и подсказками. При прочих задачах — задачах на извлечение знаний и понимание смысла — прирост варьировался и зависел от конкретной модели. Также отмечено, что успех в одной игре не гарантирует высоких результатов в других.

По сравнению с русскоязычными заданиями англоязычные тесты оказались легче для нейросетей. При этом strongest models с включённым режимом рассуждений демонстрировали более высокие средние баллы во всех семи играх. Бенчмарк ориентирован на разработчиков и исследователей, которым нужно сравнивать модели и подбирать решения под конкретные задачи.