Nemotron 3.5 Transcribe — це відкрита мовна модель для мови (speech LLM) від NVIDIA, здатна транскрибувати 40 мов і працювати з записами до 1 hour. Модель підтримує 65,536 токенів контексту, а середня 4.71% WER на 9 англомовних наборах робить її лідером серед open-weights. За інструкцією в промпті ви задаєте стиль виходу: дослівний, літературний, з атрибуцією спікерів, з контекстом або з перекладом.
Що таке Nemotron 3.5 Transcribe?
Це speech-augmented language model (SALM), яка перетворює аудіо та текстові інструкції на текст. Аудіо-енкодер подає ембеддинги в LLM-декодер, роблячи транскрипцію керованою промптом. NVIDIA позиціонує Nemotron 3.5 Transcribe як спеціаліста з транскрибування, а не універсального асистента.
Важлива ідея підходу: «єдиного правильного транскрипту не існує». Запис чисел, заповнювачів мовлення та термінів залежить від того, хто читає вихід. Тому у промпті ви можете обрати стиль: verbatim, written form, speaker-attributed, contextual або translated.
Один відкритий стек здатен замінити окремі інструменти ASR, діаризації та вирівнювання. Для бізнесу це означає менш складні пайплайни і менше коду для підтримки.
Як запустити Nemotron 3.5 Transcribe?
Запуск орієнтований на офлайн. У BF16 модель працює на 1× H100 80 GB. Є чекпоїнти FP8 (~35 GB) і NVFP4 (~21 GB); варіант NVFP4 запускається на RTX 5090. Доступні GGUF-файли, націлені на NeMo-Speech.cpp. Один чекпоїнт обробляє до 1 hour аудіо і має 65,536 токенів контексту.
Процес простий: оберіть формат чекпоїнта (BF16/FP8/NVFP4), завантажте модель разом з аудіо-енкодером і задайде інструкцію для стилю виходу. Модель приймає аудіо та текстовий промпт, генерує транскрипт зі спікер-лейблами та може повертати тайм-коди й переклад.
Nemotron 3.5 Transcribe — offline only. Це корисно там, де неможливі хмарні виклики або потрібен локальний контроль даних. Водночас вам знадобиться GPU для інференсу відповідно до обраного формату ваг.
Як працює архітектура?
Архітектура складається з трьох частин: Parallel Expert Encoder, LLM backbone і додаткові модулі для прискорення та таймінгів. Такий поділ робить транскрипцію промптабельною без ускладнення головного декодера.
Parallel Expert Encoder. Тренований 0.6B Transformer ASR-енкодер працює поруч із замороженою моделлю Nemotron 3 Diarization. Діаризатор відстежує до 8 спікерів, а його активність додається до ASR-ознак кожні 80 ms. Так LLM «бачить», хто і коли говорив — без змін архітектури декодера.
LLM backbone. Це Nemotron 3.5 Lightning 30B-A3B, гібрид Mamba-Transformer MoE з 52 шарами: 23 Mamba-2, 23 MoE і лише 6 attention-шарів. Кожен MoE-шар маршрутизує до 6 із 128 експертів плюс 1 спільного експерта. Мало attention-шарів — менший KV-кеш для довгого аудіо.
Додатки. Загальний multi-token prediction (MTP) шар чернетить токени для спекулятивного декодування. CTC-адаптер на 50M параметрів вирівнює фінальний транскрипт з аудіо і дає тайм-коди слів.
Назва говорить 30B-A4B, але чекпоїнт містить близько 34B параметрів через 1.3B MTP-модуль і аудіокомпоненти. Активних — близько 4.3B (~4B). Контекст — 65,536 токенів для обробки годинних записів.
Навчання. Одна стадія supervised fine-tuning на 256 H100 GPUs протягом 28,500 steps, далі короткий RL-етап: 400 GSPO-оновлень з винагородою 1 − WER. Модель побачила близько 1.72M унікальних годин аудіо, або 6.5M hours з повтореннями.
Як модель показала себе на бенчмарках?
За технічним звітом NVIDIA, Nemotron 3.5 Transcribe — найкраща open-weights модель на англомовному та мультимовному Open ASR Leaderboards. Середнє 4.71% WER на 9 публічних англомовних наборах. Наступна відкрита модель має 4.94% WER. Водночас «top commercial APIs still lead».
Слабке місце — далекопольні мандаринські мітинги AliMeeting: 34.95% cpCER. Це вказує, що у складних мовно-акустичних умовах потрібен додатковий розвиток або інший стек.
Сильні та слабкі сторони Nemotron 3.5 Transcribe
Сильні сторони: один відкритий чекпоїнт закриває транскрипти, спікер-лейбли, тайм-коди і переклад для 40 мов. Гнучкий промпт дозволяє налаштовувати стиль виходу: від verbatim до written form або contextual. Довгий контекст 65,536 токенів підтримує запис до 1 hour.
Слабкі сторони: модель працює offline only і демонструє слабку точність на мандаринських зустрічах далекого поля (34.95% cpCER). Якщо вам критичні онлайнові сервіси або саме цей сценарій — варто врахувати ризики.
| Параметр | Nemotron 3.5 Transcribe | Google Speech-to-Text | Microsoft Azure Speech | IBM Watson Speech to Text |
|---|---|---|---|---|
| Мови | 40 | — | — | — |
| Макс довжина аудіо | 1 hour | — | — | — |
| Контекст | 65,536 токенів | — | — | — |
| Mean WER (EN) | 4.71% | — | — | — |
| Гірший кейс (cpCER) | 34.95% (AliMeeting) | — | — | — |
| Ваги | open-weights | — | — | — |
Часті питання
Як запустити Nemotron 3.5 Transcribe?
Виберіть формат ваг: BF16 для 1× H100 80 GB, FP8 (~35 GB) або NVFP4 (~21 GB). Варіант NVFP4 працює на RTX 5090. Доступні GGUF-файли під NeMo-Speech.cpp. Один чекпоїнт обробляє до 1 hour аудіо з контекстом 65,536 токенів. Задайте інструкцію у промпті, щоб керувати стилем виводу (verbatim, written, speaker-attributed, contextual, translated). Модель працює offline only.
Nemotron 3.5 Transcribe pricing?
У джерелі немає ціни чи ліцензійних деталей. Вказано, що це open-weights модель з офлайн-запуском. Плануйте витрати під інференс: для BF16 потрібен 1× H100 80 GB; для FP8 та NVFP4 — приблизно 35 GB та 21 GB пам’яті відповідно, NVFP4 сумісний із RTX 5090. Це дає гнучкість у виборі заліза без прив’язки до хмари.
Nemotron 3.5 Transcribe vs Google Speech-to-Text comparison?
У джерелі немає прямих чисел для Google Speech-to-Text. За звітом NVIDIA, Nemotron 3.5 Transcribe — найкраща open-weights модель на Open ASR Leaderboards з 4.71% WER (англ.), наступна відкрита — 4.94%. Також сказано, що «top commercial APIs still lead». Висновок: це сильний відкритий варіант, але без прямих цифр для Google порівняння обмежене.
Nemotron 3.5 Transcribe for multilingual teams?
Модель покриває 40 мов, підтримує спікер-лейбли, тайм-коди й переклад. Запис до 1 hour і контекст 65,536 токенів допомагають тримати довгі наради в одному проході. Офлайн-запуск з open-weights корисний, якщо потрібен локальний контроль даних. Зважайте, що на AliMeeting (мандарин, far-field) отримано 34.95% cpCER — для цього сценарію точність слабша.
Як працює вирівнювання та діаризація в моделі?
Діаризацію забезпечує заморожений компонент Nemotron 3 Diarization, що трекає до 8 спікерів, додаючи активність до ASR-ознак кожні 80 ms. Для тайм-кодів використано CTC-адаптер на 50M параметрів, який вирівнює остаточний текст з аудіо до слів. Спекулятивне декодування прискорює MTP-шар (~1.3B параметрів), чернетячи кілька токенів наперед.
На основі матеріалу MarkTechPost.
