← Каталог

5 проблем с voice agents, с которыми вы столкнётесь уже на первой неделе

5 Voice Agent Failure Modes You'll Hit in Week One — Venky B, Plivo

Голосовые агенты в продакшене ломаются на транскрипции, сборе данных и озвучке, и по словам спикера их чинит типизация полей, а не промпты.

  • Выбор LLM под задержку — frontier-модели дают p50 TTFT около 450–500 мс, но P95 уходит к 1,2–1,3 с. По словам спикера, открытые Qwen 3.5 и Gemma 4 на своих GPU укладываются в цель до 300 мс, а для многоязычных сценариев Gemma 4 нужно на 2,5–3 раза меньше токенов на слово, чем Qwen 3.5.
  • Транскрипция — заявленный WER 4–6% на известных наборах на реальных шумных звонках превращается в двузначные цифры. Помогают динамическое усиление отдельных слов только на нужном этапе разговора и постобработка транскрипта LLM, которая исправляет цифры в телефонах и транслитерацию.
  • Сбор данных через поля — телефон, дата и имя описываются как типизированные поля с валидацией. По словам спикера, точность выросла с 30% до 95%, а evals запускаются на уровне полей как unit-тесты, без сотен сквозных сценариев.
  • Нормализация перед TTS — убирайте эмодзи и markdown, задавайте словарь произношения для имён и брендов, замедляйте речь на сущностях и приводите email, валюту и даты к читаемому виду своим слоем.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и видит провалы на реальных звонках.

Доклад цитируется в статьях

Главы

Похожие доклады