← Каталог

· AI Engineer World's Fair 2025

Голосовой AI-оверлей: проектирование разговорных копилотов

The Voice-First AI Overlay: Designing Conversational Co-Pilots

Голосовой AI-оверлей может подсказывать в живом разговоре двух людей, оставаясь вне него, и качество зависит от тайминга и релевантности подсказки.

  • Пассивный оверлей вместо голосового агента — система слушает разговор двух людей, подсказывает фразы и определения и молчит, пока помощь не нужна. Демо на иностранном языке строится на захвате субтитров, debouncing и контекстных подсказках от LLM.
  • Четыре типичные проблемы — дребезг входа в паузах, подсказка, которая приходит слишком рано и прерывает собеседников, или слишком поздно, и подсказка с неверным контекстом, которая выглядит как спам.
  • Задержка — для оверлея важнее попасть в момент реплики, чем ответить за 200–400 миллисекунд, как голосовому агенту. По словам автора, полный цикл запроса и ответа к быстрому LLM-провайдеру укладывается в 500–700 миллисекунд.
  • Каскад ошибок распознавания — при WER 5% путаница «don't» и «do» меняет смысл подсказки на противоположный, поэтому автор предлагает сверять её с контекстом разговора.

Кому полезно: тем, кто строит голосовых помощников для живых разговоров и решает, когда и как показывать подсказки.

Статья по теме

Главы

Похожие доклады