← Каталог

· AI Engineer World's Fair 2025

Почему ChatGPT постоянно перебивает

Why ChatGPT Keeps Interrupting You

Голосовые агенты перебивают людей, потому что VAD принимает паузу за конец реплики; семантические модели конца хода, по словам автора, уже снижают это сегодня.

  • Пауза вместо понимания речи — классический VAD отвечает только на вопрос «речь или тишина» и считает ход завершённым после полусекунды молчания. Даже семантический режим OpenAI Realtime API, по словам спикера, работает поверх того же VAD.
  • Конец реплики по контексту — LiveKit обучила текстовый трансформер на последних четырёх репликах, включая ответы агента, и он предсказывает токен конца реплики; если конец ещё не наступил, VAD ждёт дольше. Модель открытая и подключается одной строкой в пайплайн.
  • Контекст только с одной стороны — встроенные детекторы конца реплики в STT видят только речь пользователя, без ответов агента. Модель Smart Turn от Daily при этом работает по акустике.
  • Full-duplex пока не для продакшена — Moshi постоянно слушает и генерирует тишину, SyncLLM прогнозирует речь примерно на 200 миллисекунд вперёд, но такие модели слабы в следовании инструкциям. Спикер ждёт прогресса в каскадных пайплайнах с дополнительными моделями поверх VAD.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и видит, что агент перебивает пользователя.

Доклад цитируется в статьях

Главы

Похожие доклады