Ученые МФТИ в партнёрстве с исследователями из «Т-Технологий» представили метод SimplexLoRA — дообучение больших языковых моделей с автоматическим перераспределением фиксированного бюджета обучаемых параметров между слоями. По словам создателей, подход позволяет менять размер адаптеров в зависимости от того, что выучено на старте обучения, не прибавляя новых параметров и не увеличивая нагрузку во время эксплуатации модели. Сообщение о методе опубликовано как часть материалов EMNLP 2026 в Будапеште и приводится представителями МФТИ.

Суть идеи: вместо равномерного распределения адаптеров по всем слоям нейросети новый подход оценивает значимость каждого участка модели в начале обучения и автоматически распределяет между ними имеющийся бюджет. Итог — суммарный объём обучаемых параметров остаётся неизменным, однако адаптеры разных слоёв получают разный размер. Это сохраняет преимущества LoRA — небольшой объём параметров и простоту интеграции — без усложнения вычислений во время использования модели.

Обучение идёт поэтапно: сначала определяется, какие слои нуждаются в большим адаптере, затем продолжается стандартное обучение LoRA с новыми размерами. Авторы подчёркивают, что перераспределение не добавляет вычислительных затрат в рабочей модели и не требует изменений кода, оставаясь совместимым со стандартным LoRA.

Эффективность метода проверили на 12 задачах: анализ эмоциональной окраски текста, ответы на вопросы, математические рассуждения и автоматическое реферирование. В экспериментальной базе использовали четыре языковые модели различного размера, включая Llama 3.1 8B и Qwen3-8B. По выводам авторов, метод демонстрирует устойчивость к выбору параметров и не требует длительного подбора оптимальных значений.

Соавтор исследования и научный руководитель BRAIn Lab Александр Безносиков пояснил, что идея позволяет не назначать всем слоям одинаковые адаптеры, а давать каждому слою потенциал в зависимости от его вклада в конкретную задачу. Особый эффект — на ранних стадиях обучения каждый обучаемый параметр имеет заметное значение. Также было отмечено, что исходный код SimplexLoRA опубликован в открытом доступе.