За пределами транскрибации: голосовой ИИ, который понимает разговоры
Beyond Transcription: Building Voice AI That Actually Understands Conversations
Транскрипция без разметки по говорящим теряет смысл реплик, а склеить speaker diarization с STT по таймкодам оказывается отдельной сложной задачей.
- Сверка таймкодов — границы слов у STT и границы реплик у диаризации расходятся, а в перекрытиях простое назначение слова спикеру ломается. По словам автора, его оркестрация решает это поверх любого STT, в том числе дообученного внутри компании.
- Шум и телефон — по словам автора, лучшая система даёт около 8% ошибки диаризации на телефонном разговоре двух человек и около 41% в ресторане с фоновым шумом.
- Одноголосые модели — STT обучают в основном на одном голосе. По данным автора, Parakeet даёт около 11% ошибок распознавания на гарнитурном микрофоне и около 26% на AMI с микрофоном посреди стола.
- Открытый код — pyannote.audio с моделью Community-1 доступен на Hugging Face. Её режим exclusive diarization на перекрытии выбирает наиболее вероятного спикера, что упрощает сверку.
Кому полезно: тем, кто строит саммари встреч, подкаст-аналитику или дубляж и передаёт в LLM транскрипт без информации о говорящих.
Статья по теме
Главы
Похожие доклады
Ваш голосовой агент — всего лишь рация
Близко по содержанию
Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
Близко по содержанию
Полный воркшоп: голосовой AI в реальном времени
Aleix Conchillo Flaqué, Mark Backman
AI Engineer World's Fair 2025
Близко по содержанию
Realtime-AI не выживет
Kwindla Hultman Kramer, Sean DuBois
AI Engineer World's Fair 2025
Близко по содержанию

