5 проблем с voice agents, с которыми вы столкнётесь уже на первой неделе
5 Voice Agent Failure Modes You'll Hit in Week One — Venky B, Plivo
Голосовые агенты в продакшене ломаются на транскрипции, сборе данных и озвучке, и по словам спикера их чинит типизация полей, а не промпты.
- Выбор LLM под задержку — frontier-модели дают p50 TTFT около 450–500 мс, но P95 уходит к 1,2–1,3 с. По словам спикера, открытые Qwen 3.5 и Gemma 4 на своих GPU укладываются в цель до 300 мс, а для многоязычных сценариев Gemma 4 нужно на 2,5–3 раза меньше токенов на слово, чем Qwen 3.5.
- Транскрипция — заявленный WER 4–6% на известных наборах на реальных шумных звонках превращается в двузначные цифры. Помогают динамическое усиление отдельных слов только на нужном этапе разговора и постобработка транскрипта LLM, которая исправляет цифры в телефонах и транслитерацию.
- Сбор данных через поля — телефон, дата и имя описываются как типизированные поля с валидацией. По словам спикера, точность выросла с 30% до 95%, а evals запускаются на уровне полей как unit-тесты, без сотен сквозных сценариев.
- Нормализация перед TTS — убирайте эмодзи и markdown, задавайте словарь произношения для имён и брендов, замедляйте речь на сущностях и приводите email, валюту и даты к читаемому виду своим слоем.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и видит провалы на реальных звонках.
Доклад цитируется в статьях
Главы
Похожие доклады
Ваш голосовой агент — всего лишь рация
Близко по содержанию
Задержка — это бюджет. Цель — общение как у людей
AI Engineer World's Fair 2026
Близко по содержанию
Голосовому агенту не нужна frontier-модель
AI Engineer World's Fair 2026
Близко по содержанию
Создание эффективных голосовых агентов
AI Engineer World's Fair 2025
Близко по содержанию

