← Каталог

· AI Engineer Europe 2026

Разработка голосовых агентов: задержка, качество и масштабирование

Engineering voice agents: Latency, quality, and scale

Голосовой агент укладывается в разговорную задержку, если распределить бюджет по STT, LLM и TTS и разместить модели в одном дата-центре.

  • Бюджет задержки — LLM забирает большую часть времени и стоимости, затем идут TTS и STT. Чтобы LLM успевала выдать первый токен примерно за 300 мс, спикер советует модели размером 8–30 млрд параметров: крупнее — бюджет съедается, мельче — падает качество вызова инструментов.
  • Колокация моделей — перенос сетевого пути с 75 мс до примерно 5 мс, по словам спикера, даёт около 30% снижения задержки уже оптимизированного агента.
  • Стриминговый STT вместо Whisper — Whisper обучен на 30-секундных фрагментах и требует сложной нарезки. Стриминговые модели смотрят на 80 мс–1 с аудио вперёд и кешируют активации, а на части моделей Together, по словам спикера, P90 завершения транскрипта около 100 мс.
  • Проверки до TTS — классификатор ставят перед LLM для маршрутизации запроса, а guardrails выгоднее держать до вызова TTS, потому что сказанное вслух не отозвать.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и отвечает за задержку и надёжность под нагрузкой.

Статья по теме

Главы

Похожие доклады