← Каталог

Голосовые агенты в реальном времени с интеллектом frontier-моделей

Realtime Voice Agents with Frontier Intelligence — Bohan Li, EliseAI

Голосовой агент на медленной, но умной LLM укладывается в живой диалог, если прятать задержку на трёх уровнях: транскрипции, инструментах и синтезе речи.

  • Спекулятивная транскрипция — быстрый потоковый транскрибер Flux работает поверх точного пакетного Scribe V2: ранний текст уходит агенту сразу, а точная модель исправляет его с учётом более широкого контекста, и её правка отменяется, если в поток пришли новые слова.
  • Фоновые инструменты — вызовы инструментов выполняются в фоне, а их результаты подмешиваются в контекст основного агента так, будто он вызвал их сам. Это убирает лишние проходы через медленную модель, а ранний ответ без данных отменяется, когда нужное найдено.
  • Prefix caching для TTS — частые последовательности слов вроде «you said your name is» озвучиваются заранее сохранённым аудио, пока подключается потоковый синтез Cartesia. Его дубль для уже проигранной части глушится, и стык, по словам спикера, почти не слышен.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и упирается в задержку медленной модели. Цифр задержки в докладе нет: есть схемы и запись одного звонка на запись клиники.

Статья по теме

На какие вопросы отвечает доклад

  • Как сохранить качество frontier-модели в голосовом агенте и не терять в скорости реакции?

    Агент строится каскадом: распознавание, LLM и синтез речи, и каждый слой оптимизируется отдельно, чтобы медленная, но умная модель укладывалась в реалтайм. Авторы показывают приёмы для каждого из трёх слоёв.

    ▶ 0:01Каскадная архитектура голосового agent
  • Как ускорить распознавание речи в голосовом агенте и при этом не терять точность?

    Быстрый потоковый распознаватель (Flux) работает параллельно с точным пакетным Scribe V2. Точный результат подменяет быстрый, только если текст уже не изменился, а новые фрагменты аудио отменяют устаревшую коррекцию.

    ▶ 2:13Потоковая транскрипция с опережением
  • Как делать вызовы инструментов в голосовом агенте, чтобы не ждать ответа LLM после каждой реплики пользователя?

    Инструменты вызываются в фоновом агенте, и результат добавляется в контекст основного агента, пока тот генерирует ранние ответы. Ранний ответ отменяется и генерируется заново, когда данные инструмента найдены, а вывод отправляется после окончания реплики пользователя.

    ▶ 3:44Фоновые инструменты и упреждающая генерация
  • Как начать озвучивать ответ LLM до того, как модель закончила генерировать текст?

    Аудио для уже сгенерированных последовательностей слов хранится в префиксном кэше: при совпадении сразу проигрывается закэшированный звук. Когда кэш промахивается, оставшийся текст уходит в TTS по websocket, а дублирующее аудио от TTS подавляется.

    ▶ 6:06Потоковый синтез речи и кэш префиксов

Главы

Похожие доклады