← Каталог

· AI Engineer World's Fair 2026

Проектирование голосовых агентов для естественных разговоров

Designing Voice Agents for Real Conversations

Определение конца реплики — аудио-инженерная задача: от её решения зависит, будет ли голосовой агент перебивать пользователя, даже при одной и той же языковой модели.

  • Три способа определить конец реплики — Silero VAD видит только тишину и не отличает паузу для вдоха от конца мысли. Endpointing у провайдера STT (Cartesia Ink-2, Deepgram Nova-3) учитывает смысл, но решение нельзя проверить в логах; локальный Smart Turn поверх VAD, по словам авторов, даёт полноту 58,9% и точность 68,4%, а таймер тишины остаётся страховкой.
  • Задержка складывается из облачных вызовов — при работе через облачные API голос-в-голос занимает около 1100–1300 мс, и STT с LLM забирают около двух третей бюджета. Совместное размещение моделей в одном GPU-кластере, по данным авторов, сокращает это примерно до 500 мс.
  • Хвост задержки важнее медианы — в их замерах GPT-4.1 при медиане около 536 мс на P95 показывал около 1,7 с, а Claude Sonnet на хвосте превышал четыре секунды.
  • Перебивание сбрасывает пайплайн — VAD фиксирует начало речи пользователя примерно за 32 мс, после чего TTS и генерация LLM отменяются за около 15 мс. Классификация коротких подтверждений вроде «угу» и реальных перебиваний пока встречается редко.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и выбирает между VAD, endpointing провайдера и собственной моделью конца реплики.

Статья по теме

Главы

Похожие доклады