Исследовательская группа лаборатории научных исследований «Т-Технологий» объявила о разработке двух методов — LIMe и KronSAE, призванных снизить объем вычислений в процессе обучения языковых моделей без потери качества. Сообщение поступило от представителей «Т-Банка» в рамках их совместной работы над перспективами оптимизации трансформеров.

Метод LIMe (Layer-Integrated Memory) дополняет архитектуру нейросети маршрутизатором, который отвечает за выбор полезных данных из предыдущих слоев обработки. Это позволяет сохранять различия между токенами и повторно использовать результаты вычислений, уменьшая расход вычислительных мощностей примерно на 15% при сохранении качества модели.

KronSAE представляет новую архитектуру разрежённых автоэнкодеров. При таком подходе автокодеры помогают лучше разобрать внутреннюю работу языковых моделей и выделить элементы признаков, отражающие обрабатываемую нейросеть информацию. KronSAE формирует признаки через комбинации более простых компонентов, что повышает интерпретируемость и учитывает связи между признаками.

Эксперименты показали, что LIMe прошёл тесты на моделях примерно с миллиард параметров и сравнивался с трансформерами LLaMA, DenseFormer и HyperConnections в задачах математического и многошагового рассуждения. Результаты свидетельствуют: LIMe даёт на 15% меньшие вычисления при сохранении исходного качества базовой модели и может улучшать качество предсказаний текста.

KronSAE был проверен на двух моделях — Qwen2.5-1.5B-Base и Gemma-2-2B — и показал снижение затрат на извлечение признаков более чем на 40% по сравнению с TopK SAE, что подчеркивает рост интерпретируемости и эффективности анализа внутренних представлений моделей.