· AI Engineer World's Fair 2026
Проектирование голосовых агентов для естественных разговоров
Designing Voice Agents for Real Conversations
Определение конца реплики — аудио-инженерная задача: от её решения зависит, будет ли голосовой агент перебивать пользователя, даже при одной и той же языковой модели.
- Три способа определить конец реплики — Silero VAD видит только тишину и не отличает паузу для вдоха от конца мысли. Endpointing у провайдера STT (Cartesia Ink-2, Deepgram Nova-3) учитывает смысл, но решение нельзя проверить в логах; локальный Smart Turn поверх VAD, по словам авторов, даёт полноту 58,9% и точность 68,4%, а таймер тишины остаётся страховкой.
- Задержка складывается из облачных вызовов — при работе через облачные API голос-в-голос занимает около 1100–1300 мс, и STT с LLM забирают около двух третей бюджета. Совместное размещение моделей в одном GPU-кластере, по данным авторов, сокращает это примерно до 500 мс.
- Хвост задержки важнее медианы — в их замерах GPT-4.1 при медиане около 536 мс на P95 показывал около 1,7 с, а Claude Sonnet на хвосте превышал четыре секунды.
- Перебивание сбрасывает пайплайн — VAD фиксирует начало речи пользователя примерно за 32 мс, после чего TTS и генерация LLM отменяются за около 15 мс. Классификация коротких подтверждений вроде «угу» и реальных перебиваний пока встречается редко.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и выбирает между VAD, endpointing провайдера и собственной моделью конца реплики.
Статья по теме
Главы
Похожие доклады
Realtime-AI не выживет
Kwindla Hultman Kramer, Sean DuBois
AI Engineer World's Fair 2025
Близко по содержанию
5 проблем с voice agents, с которыми вы столкнётесь уже на первой неделе
Близко по содержанию
VoiceVision RAG: визуальный поиск по документам с голосовыми ответами
AI Engineer World's Fair 2025
Близко по содержанию
Tolan: голосовой AI-компаньон
Близко по содержанию


