NVIDIA представила открытую модель Nemotron 3.5 Transcribe и конвейер данных Granary v2

NVIDIA выпустила Nemotron 3.5 Transcribe — открытую модель с открытыми весами, доступную на Hugging Face и ModelScope. Она объединяет в одном чекпоинте транскрипцию, атрибуцию спикеров (диаризацию), перевод и аудио-вопросы-ответы. Модель транскрибирует 40 языков, переводит 31 из них на английский и с английского, определяет спикеров в 13 языках, обрабатывает записи длительностью до часа и размечает до восьми спикеров. Разработчики могут управлять выводом на естественном языке, выбирать, где обрабатывается аудио, и адаптировать распознавание под доменную лексику и акценты.

Среди открытых моделей Transcribe занимает первое место в Hugging Face Open ASR Leaderboard для английского языка и находится на границе точности и активных параметров Artificial Analysis. На лидерборде диаризации David AI (21 язык) у модели самая низкая частота ошибок, а в сравнении 14 систем VoiceArena она занимает первое место. Модель работает на одном GPU NVIDIA — от DGX Spark до систем Blackwell в дата-центрах.

Granary v2 — открытый конвейер курирования данных, доступный на Hugging Face и ModelScope. Вместе с инструментами дообучения NeMo Speech он распространяет управление на уровне промпта на обучение: разработчики могут задать нужную письменную форму и адаптировать модель к речи, с которой сталкиваются их приложения. В медицинском кейсе дообучение снизило WER на отложенных спикерах на 45,8% относительно лучшего промпта.

Управление транскрипцией на естественном языке

Один и тот же чекпоинт может превращать запись встречи в разные результаты в зависимости от инструкции: «Транскрибируй эту запись и разметь каждого спикера», «Переведи это аудио на английский», «Какие решения были приняты на этой встрече?». Модель поддерживает временные метки на уровне слов. В карточке модели есть рекомендуемые пресеты, включая рассуждения для аудио-вопросов, полное руководство по промптам и матрицу задач по языкам: поддержка языков различается по задачам, а аудио-вопросы-ответы обучены на английском. Как и любую речевую модель, её следует выборочно проверять по записи — имена, смену спикеров и ответы.

Agora, чья платформа голоса и видео в реальном времени обеспечивает живые разговоры в приложениях, использовала временные метки на уровне слов в демонстрации для класса: Nemotron 3.5 Transcribe превращает записанное занятие в транскрипт, отображаемый вместе с повтором, чтобы студенты видели, что и когда было сказано.

Результаты на лидербордах

В Hugging Face Open ASR Leaderboard модель измеряется по WER на публичных тестовых наборах в трёх треках:

• Английский: первое место среди открытых моделей при среднем WER 5,33%.
• Многоязычный: средний WER 4,62% по семи языкам, самый низкий среди оценённых открытых моделей в сравнении Open ASR из карточки модели.
• Длинные записи: средний WER 10,98%, также самый низкий в этом сравнении.

В Artificial Analysis Speech-to-Text Leaderboard модель делит первое место среди открытых моделей с AA-WER 2,8% при около 4 млрд активных параметров против 24 млрд у модели, с которой делит место. На AA-AgentTalk WER составляет 1,8% против 2,3% у следующей лучшей открытой модели. Модель сочетает речевой энкодер с гибридной Mamba–Transformer mixture-of-experts языковой моделью, поэтому из 30 млрд параметров активны около 4 млрд на токен.

На диаризационном треке David AI DAI-ASR-I18N (21 язык) у Transcribe самая низкая частота ошибок диаризации среди 14 протестированных систем — 18,26%, у Nemotron 3 Diarization — 18,38%. В VoiceArena Diarization-Bench у Transcribe самый низкий cpWER среди 14 систем — 32,4%, у NVIDIA Multitalker Parakeet с Nemotron 3 Diarization — 34,2%; доля удалений — 8,32% слов эталона против медианы около 31%. Ocular AI Converse-STT называет Transcribe лучшей открытой моделью, а Josh Talks Voice of India приводит её результаты по индийским языкам.

На одном GPU NVIDIA RTX PRO 6000 Blackwell Server Edition с точностью NVFP4 модель обрабатывает 100 часов аудио менее чем за три минуты (измерено на 30-секундных клипах при высокой конкурентности). Чекпоинт можно обслуживать через vLLM или локально через NeMo-Speech.cpp. Transcribe предназначена для записанного аудио, а не для потокового вещания.

Granary v2: открытый конвейер курирования данных

Granary v2 построен с NVIDIA NeMo Curator; его конвейер подготовил многоязычную речь для обучения Nemotron 3.5 Transcribe, создав выровненные варианты транскриптов, метки задач и проверяемые метаданные качества. Публичный манифест охватывает 463 062 часа по 48 языкам и 16 исходным корпусам (в Granary v1 было 25 языков). Эти цифры описывают релиз набора данных, а не полную обучающую смесь Transcribe и её веса сэмплирования.

Granary v2 генерирует три формы транскрипта для каждой записи — те же дословный и чистый стили, которые разработчики могут запросить у Transcribe промптом. Помимо транскрипции конвейер создаёт короткие аудио-описания, восстановление кодового переключения заимствований, пары вопрос-ответ с опорой на речь, контекстные термины для ASR и переводы с автоматическими оценками качества.

Конвейер организован в четыре этапа:

• Подготовка аудио (метаданные): сегментирует сырое или длинное аудио, отслеживает спикеров по всей записи, размечает акустические события и язык. В Granary v2 исходные данные уже были сегментированы, поэтому этот релиз пропустил этап.
• Транскрипция (ASR): направляет каждый язык к основным и резервным ASR-моделям, переключаясь при провале проверки на галлюцинации. Человеческие эталонные транскрипты помогают сохранять доверенные написания, добавляя разговорные формы и дисфлюенсии.
• Генерация меток задач (текст): создаёт варианты транскрипта, затем проверяет частоту символов, паттерны галлюцинаций и согласие модели или человеческого эталона. Только принятые записи получают контекстные термины ASR и переводы.
• High Fidelity (HiFi): отфильтровывает сегменты с шумом, клиппингом или несколькими спикерами, оставляя меньший набор высококачественных записей для использования за пределами ASR. Для VoxPopuli он сократил 354 тыс. часов до 111 тыс. часов по 22 европейским языкам.

Разработчики могут запускать конвейер NeMo Curator с бэкендами Ray и NVIDIA Dynamo на своих записях или авторизованных публичных корпусах либо строить на публичных манифестах Granary v2. Манифесты включают три формы транскрипта как tn_raw, itn_raw и itn_clean, описанные метки, подсказки сущностей, производные пары инструкций, происхождение и флаг качества для каждой записи. Исходное аудио нужно скачивать отдельно по исходной лицензии каждого корпуса и следовать опубликованным условиям релиза.

Адаптация распознавания под важную лексику

Начать стоит с промпта на dev-наборе, задающего язык, письменность и формат транскрипта. В кейсе указание английского языка и латинского алфавита в промпте снизило WER на полном бенчмарке с 30,8% до 23,8%. Для оставшихся доменных ошибок рабочий процесс дообучения NeMo Speech сочетает репрезентативную речь с явными письменными целями.

Медицинский кейс NeMo Speech использует открытый бенчмарк Eka Care с записями индийских врачей и студентов-медиков: 3 619 клипов, без выделенного тренировочного сплита. Для адаптации собрано около 153 часов синтетической речи, 29 часов английского с акцентами из Common Voice и 63 часа медицинских записей из MultiMed. На полном тестовом наборе лучший промпт снизил WER с 30,8% до 23,8%, а дообучение — до 11,8%, примерно на 62% меньше ошибок, чем у модели из коробки. Полный набор включает 855 клипов для настройки, использованных для выбора промпта и чекпоинтов.

Синтетическая генерация отделяет письменную цель от её произнесения: «HbA1c» — метка, «H B A one C» отправляется синтезатору. Несколько голосов TTS расширяют аудио, реальные записи добавляют акценты и условия записи. Тренировочный текст фильтруется по точным совпадениям и общим восьмисловным последовательностям с эталонными транскриптами бенчмарка. Рецепт обучает речевой энкодер и проекцию и использует LoRA для адаптации языковой модели. Два запуска используют разные смеси данных; после слияния адаптеров выбранные чекпоинты равномерно усредняются в одну финальную модель. Выбор чекпоинта основан на декодированных результатах на dev-наборе, а не только на потерях при обучении. Полная адаптация, от генерации текста до оценки, заняла около 14 GPU-часов на одном NVIDIA GB300.

Прирост в домене на отложенных спикерах

Бенчмарк разделён по спикерам на 855 клипов для настройки и 2 764 отложенных клипа, декодированных один раз для каждой финальной системы. По KARMA Eka Care дообучение снизило WER на отложенных спикерах с 22,44% у лучшего промпта до 12,17% — относительное снижение на 45,8%. WER по ключевым словам снизился с 9,2% до 6,5%, семантический WER — с 10,0% до 7,6%. На тех же отложенных спикерах и скорере адаптированная модель с WER 12,17% превосходит открытую медицинскую специализированную модель (13,79%) и широко используемую универсальную ASR-модель (14,92%).

На общем английском LibriSpeech test-clean WER немного вырос — с 1,54% до 1,69%. Медицинская специализированная модель по-прежнему лидирует по точным совпадениям для брендовых лекарств и диагностики; в кейсе следующим шагом названы реальные записи клиницистов, произносящих бренды. Для своего домена рекомендуется оставлять не менее 100 реальных размеченных клипов для выбора чекпоинта и оценивать типы сущностей приложения наряду с сохранением качества на общей речи.

Кейс включает команды для воспроизведения каждого шага. Туториалы по дообучению охватывают рецепты, требования к ресурсам и инструменты для обучения, экспорта и оценки, включая ASR для новых языков и кодового переключения. Прилагаемый агентный навык позволяет кодирующему агенту выполнять рабочий процесс: от выбора базовой модели и проверки данных до валидации обучения, слияния адаптеров и оценки. ModelScope также позволяет дообучать Nemotron 3.5 Transcribe через фреймворк ms-swift для специализированных мультимодальных приложений.

Как начать

Модель можно попробовать в демо на Hugging Face или ModelScope Studios, скачать чекпоинт с Hugging Face или ModelScope и обслуживать по руководству по развёртыванию vLLM. Чтобы обойтись без самостоятельного хостинга, доступны хостинговые эндпоинты у Baseten, DeepInfra и Simplismart. Для адаптации к домену предлагается начать с манифестов Granary v2 на Hugging Face или ModelScope и медицинского кейса ASR либо поручить рабочий процесс кодирующему агенту с помощью агентного навыка дообучения.

Источник: https://huggingface.co/blog/nvidia/nemotron-transcribe-granary