· AI Engineer World's Fair 2025
Голосовой AI-оверлей: проектирование разговорных копилотов
The Voice-First AI Overlay: Designing Conversational Co-Pilots
Голосовой AI-оверлей может подсказывать в живом разговоре двух людей, оставаясь вне него, и качество зависит от тайминга и релевантности подсказки.
- Пассивный оверлей вместо голосового агента — система слушает разговор двух людей, подсказывает фразы и определения и молчит, пока помощь не нужна. Демо на иностранном языке строится на захвате субтитров, debouncing и контекстных подсказках от LLM.
- Четыре типичные проблемы — дребезг входа в паузах, подсказка, которая приходит слишком рано и прерывает собеседников, или слишком поздно, и подсказка с неверным контекстом, которая выглядит как спам.
- Задержка — для оверлея важнее попасть в момент реплики, чем ответить за 200–400 миллисекунд, как голосовому агенту. По словам автора, полный цикл запроса и ответа к быстрому LLM-провайдеру укладывается в 500–700 миллисекунд.
- Каскад ошибок распознавания — при WER 5% путаница «don't» и «do» меняет смысл подсказки на противоположный, поэтому автор предлагает сверять её с контекстом разговора.
Кому полезно: тем, кто строит голосовых помощников для живых разговоров и решает, когда и как показывать подсказки.
Статья по теме
Главы
Похожие доклады
Ваш голосовой агент — всего лишь рация
Близко по содержанию
Интеллектуальный интерфейс
AI Engineer Summit 2023
Близко по содержанию
Больше никаких корявых AI-транскрипций
Byungjoong, Jaehan, Myungjong Kim, Travis Bartley
AI Engineer World's Fair 2025
Близко по содержанию
Создание AI-ассистента для телефонных звонков
AI Engineer World's Fair 2024
Близко по содержанию

