Голосовые агенты в реальном времени с интеллектом frontier-моделей
Realtime Voice Agents with Frontier Intelligence — Bohan Li, EliseAI
Голосовой агент на медленной, но умной LLM укладывается в живой диалог, если прятать задержку на трёх уровнях: транскрипции, инструментах и синтезе речи.
- Спекулятивная транскрипция — быстрый потоковый транскрибер Flux работает поверх точного пакетного Scribe V2: ранний текст уходит агенту сразу, а точная модель исправляет его с учётом более широкого контекста, и её правка отменяется, если в поток пришли новые слова.
- Фоновые инструменты — вызовы инструментов выполняются в фоне, а их результаты подмешиваются в контекст основного агента так, будто он вызвал их сам. Это убирает лишние проходы через медленную модель, а ранний ответ без данных отменяется, когда нужное найдено.
- Prefix caching для TTS — частые последовательности слов вроде «you said your name is» озвучиваются заранее сохранённым аудио, пока подключается потоковый синтез Cartesia. Его дубль для уже проигранной части глушится, и стык, по словам спикера, почти не слышен.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и упирается в задержку медленной модели. Цифр задержки в докладе нет: есть схемы и запись одного звонка на запись клиники.
Статья по теме
На какие вопросы отвечает доклад
Как сохранить качество frontier-модели в голосовом агенте и не терять в скорости реакции?
Агент строится каскадом: распознавание, LLM и синтез речи, и каждый слой оптимизируется отдельно, чтобы медленная, но умная модель укладывалась в реалтайм. Авторы показывают приёмы для каждого из трёх слоёв.
▶ 0:01Каскадная архитектура голосового agentКак ускорить распознавание речи в голосовом агенте и при этом не терять точность?
Быстрый потоковый распознаватель (Flux) работает параллельно с точным пакетным Scribe V2. Точный результат подменяет быстрый, только если текст уже не изменился, а новые фрагменты аудио отменяют устаревшую коррекцию.
▶ 2:13Потоковая транскрипция с опережениемКак делать вызовы инструментов в голосовом агенте, чтобы не ждать ответа LLM после каждой реплики пользователя?
Инструменты вызываются в фоновом агенте, и результат добавляется в контекст основного агента, пока тот генерирует ранние ответы. Ранний ответ отменяется и генерируется заново, когда данные инструмента найдены, а вывод отправляется после окончания реплики пользователя.
▶ 3:44Фоновые инструменты и упреждающая генерацияКак начать озвучивать ответ LLM до того, как модель закончила генерировать текст?
Аудио для уже сгенерированных последовательностей слов хранится в префиксном кэше: при совпадении сразу проигрывается закэшированный звук. Когда кэш промахивается, оставшийся текст уходит в TTS по websocket, а дублирующее аудио от TTS подавляется.
▶ 6:06Потоковый синтез речи и кэш префиксов
Главы
Похожие доклады
После 200 миллионов взаимодействий с пациентами: что упускает универсальный голосовой стек
AI Engineer World's Fair 2026
Близко по содержанию
Голосовые агенты с видео в реальном времени
AI Engineer World's Fair 2026
Близко по содержанию
Создание и масштабирование роя голосовых ботов для работы в реальном времени
AI Engineer World's Fair 2024
Близко по содержанию
Tolan: голосовой AI-компаньон
Близко по содержанию

