Компания Nvidia объявила о запуске ИИ-модели Nemotron 3.5 Transcribe с открытыми весами для распознавания речи, перевода и анализа аудиозаписей. По заявлению, модель поддерживает 40 языков, включая русский, и способна обрабатывать аудио продолжительностью до часа. При этом в релиз вошёл набор данных Granary v2 и набор инструментов по подготовке данных, позволяющих адаптировать ИИ к конкретным областям. В базе параметров модели заявлено 30 млрд параметров, из которых во время обработки каждого фрагмента активно примерно 4 млрд. Это даёт возможность работать на одной видеокарте Nvidia, например на компактной DGX Spark, а на флагманской RTX PRO 6000 Blackwell Server Edition — обрабатывать 100 часов аудио менее чем за три минуты при использовании формата NVFP4.

Особенно подчёркнулись возможности по идентификации говорящих: в тестах и презентациях Nvidia отмечает, что Nemotron 3.5 Transcribe способна распознавать нескольких говорящих в одной записи и определять того, кто произносит какие слова. В тестах для оценки качества распознавания говорящих модель заняла лидирующие позиции: в VoiceArena, где использовались 14 систем и записи с одновременной речью, доля пропущенных слов составила 8,32% против медианного значения около 31% у конкурентов; в тесте David AI точность определения говорящих на 21 языке оказалась лучшей, слегка опередив специализированную Nemotron 3 Diarization. Эти результаты подчёркнуты в пресс-material и сравнениях с подобными решениями на открытых весах.

Немного шире контекст: Nvidia также сообщила о релизе набора Granary v2 — около 844 тысяч часов аудиозаписей на 48 языках, что больше предыдущей версии (примерно 643 тысячи часов на 25 языках). Записи представлены в нескольких форматах расшифровки: дословном, с сохранением слов-паразитов и с записью чисел словами. Помимо этого, в релиз вошли инструменты подготовки данных, которые позволяют дообучать модель на конкретных датасерах, включая медицинские записи; у примеров дообучения частота ошибок снизилась с 30,8% до 11,8%. Для проверки на новых голосах эффект достиг 12,17% против 22,44% в исходной форме.