· AI Engineer World's Fair 2025
Почему ChatGPT постоянно перебивает
Why ChatGPT Keeps Interrupting You
Голосовые агенты перебивают людей, потому что VAD принимает паузу за конец реплики; семантические модели конца хода, по словам автора, уже снижают это сегодня.
- Пауза вместо понимания речи — классический VAD отвечает только на вопрос «речь или тишина» и считает ход завершённым после полусекунды молчания. Даже семантический режим OpenAI Realtime API, по словам спикера, работает поверх того же VAD.
- Конец реплики по контексту — LiveKit обучила текстовый трансформер на последних четырёх репликах, включая ответы агента, и он предсказывает токен конца реплики; если конец ещё не наступил, VAD ждёт дольше. Модель открытая и подключается одной строкой в пайплайн.
- Контекст только с одной стороны — встроенные детекторы конца реплики в STT видят только речь пользователя, без ответов агента. Модель Smart Turn от Daily при этом работает по акустике.
- Full-duplex пока не для продакшена — Moshi постоянно слушает и генерирует тишину, SyncLLM прогнозирует речь примерно на 200 миллисекунд вперёд, но такие модели слабы в следовании инструкциям. Спикер ждёт прогресса в каскадных пайплайнах с дополнительными моделями поверх VAD.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и видит, что агент перебивает пользователя.
Доклад цитируется в статьях
Главы
Похожие доклады
Ваш голосовой агент — всего лишь рация
Близко по содержанию
Полный воркшоп: голосовой AI в реальном времени
Aleix Conchillo Flaqué, Mark Backman
AI Engineer World's Fair 2025
Близко по содержанию
Задержка — это бюджет. Цель — общение как у людей
AI Engineer World's Fair 2026
Близко по содержанию
Realtime-AI не выживет
Kwindla Hultman Kramer, Sean DuBois
AI Engineer World's Fair 2025
Близко по содержанию

