← Каталог

· AI Engineer World's Fair 2025

Больше никаких корявых AI-транскрипций

The End of Awkward AI Transcriptions

Byungjoong, Jaehan и ещё 2 спикераВсе 4Свернуть

Набор специализированных речевых моделей на одной архитектуре FastConformer, а не одна универсальная модель, даёт, по словам NVIDIA, нужный баланс скорости и точности.

  • Две семьи моделей под разные задачи — Parakeet с CTC и TDT работает в потоковом режиме с низкой задержкой, Canary нацелен на точность и мультизадачность. Encoder-decoder варианты переключают перевод, таймкоды и определение языка простой сменой промпта.
  • Subsampling до 80 мс — дополнительный шаг subsampling сокращает шаг времени с 40 до 80 мс, что, по словам авторов, ускоряет инференс и даёт более быструю сходимость на меньшем объёме данных.
  • Диаризация внутри ASR — Sortformer определяет, кто и когда говорит, а speaker kernel объединяет его эмбеддинги с эмбеддингами энкодера. Модель работает и параллельно, и каскадом, а опорное аудио переводит её в target-speaker ASR, то есть распознавание одного нужного спикера.
  • Кастомизация на каждом этапе — можно дообучить акустическую модель, n-gram языковую модель, пунктуацию и ITN, а word boosting повышает точность на названиях продуктов и жаргоне. Инференс идёт через NIM на TensorRT и Triton, контейнер масштабируется до сотен параллельных потоков, по словам авторов.

Кому полезно: тем, кто выводит распознавание речи в контакт-центрах или на встраиваемых устройствах и выбирает между задержкой и точностью.

Статья по теме

Главы

Похожие доклады