Яндекс выпустил открытую Alice AI Foundation LLM на базе Mixture of Experts с 80 млрд параметров

Компания «Яндекс» представила претрейн-версию большой языковой модели Alice AI Foundation LLM и выложила её в открытый доступ. По заявлению разработчиков, модель обучена полностью с нуля и демонстрирует высокие результаты в программировании, рассуждениях и знании фактов на русском языке, что, как отмечается, превосходит многие зарубежные аналоги в соответствующих задачах.

Концептуально Alice AI Foundation LLM строится на архитектуре Mixture of Experts и имеет 80 миллиардов параметров, из которых в любой момент активно задействованы около 3 миллиардов. Это сочетание обеспечивает высокую скорость обработки запросов и эффективность при решении сложных логических задач и задач программирования.

Разработчики заявляют, что модель может применяться как в исследовательских проектах, так и в коммерческих задачах под лицензией Apache 2.0. Она предназначена как экспериментальная платформа для тестирования архитектурных решений «Яндекса» и станет основой агентных возможностей “Алисы AI”, что позволит пользователям поручать системе выполнение разнообразных задач.

Для оценки знаний в рамках русскоязычного контекста созданы два бенчмарка: WikiWebFacts и HardMultiQA. Первый фокусируется на датах, определениях и фактах, собранных из энциклопедий и поисковых запросов, второй — на более редких областях знаний по анонимизированному потоку запросов к «Алисе AI». Результаты по этим тестам демонстрируют объективность оценки именно для русскоязычных моделей.

В ходе тестов Alice AI Foundation LLM соревнуется за лидерство в задачах математики и кодогенерации. В одном из бенчмарков модель делит лидерство с Qwen3.5-35B-A3B-Base и превзошла Nvidia Nemotron-3-Super-120B-Base по генерации программного кода, несмотря на меньший размер активных параметров. Также она обходит более крупные открытые модели на задачах, где востребованы широкие факты и знания.

Как отмечают разработчики, «Alice AI Foundation LLM» обгоняет более крупные открытые модели в ряде кейсов без необходимости крупных вычислительных мощностей для инференса, и её результаты служат тестом для архитектурных решений будущей единой рассуждающей модели «Яндекса» и интеграции с агентными возможностями Алисы AI.