Разработка голосовых агентов: задержка, качество и масштабирование
Engineering voice agents: Latency, quality, and scale
Голосовой агент укладывается в разговорную задержку, если распределить бюджет по STT, LLM и TTS и разместить модели в одном дата-центре.
- Бюджет задержки — LLM забирает большую часть времени и стоимости, затем идут TTS и STT. Чтобы LLM успевала выдать первый токен примерно за 300 мс, спикер советует модели размером 8–30 млрд параметров: крупнее — бюджет съедается, мельче — падает качество вызова инструментов.
- Колокация моделей — перенос сетевого пути с 75 мс до примерно 5 мс, по словам спикера, даёт около 30% снижения задержки уже оптимизированного агента.
- Стриминговый STT вместо Whisper — Whisper обучен на 30-секундных фрагментах и требует сложной нарезки. Стриминговые модели смотрят на 80 мс–1 с аудио вперёд и кешируют активации, а на части моделей Together, по словам спикера, P90 завершения транскрипта около 100 мс.
- Проверки до TTS — классификатор ставят перед LLM для маршрутизации запроса, а guardrails выгоднее держать до вызова TTS, потому что сказанное вслух не отозвать.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и отвечает за задержку и надёжность под нагрузкой.
Статья по теме
Главы
Похожие доклады
После 200 миллионов взаимодействий с пациентами: что упускает универсальный голосовой стек
AI Engineer World's Fair 2026
Близко по содержанию
Создание и масштабирование роя голосовых ботов для работы в реальном времени
AI Engineer World's Fair 2024
Близко по содержанию
Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
Близко по содержанию
Голосовые агенты: хорошее, плохое и ужасное
AI Engineer Summit 2025
Близко по содержанию

