← Каталог

Ваш голосовой агент — всего лишь рация

Your Voice Agent is Just a Walkie Talkie — Neil Zeghidour, Gradium

Низкая задержка не делает голосового агента естественным: нужна full-duplex модель, которая говорит и слушает одновременно, а рассуждения отдаёт фоновой текстовой LLM.

  • Полный дуплекс вместо очереди — переключение между слушанием и речью ломает разговор даже при низкой задержке. По словам спикера, в живом телефонном разговоре до 20% времени обе стороны говорят одновременно.
  • Аудио как токены — сырой звук на 24 kHz даёт около 72 000 шагов на фразу из восьми слов, поэтому модели обучают на нейронных кодеках, которые сжимают звук в компактные токены. Стоимость обработки растёт квадратично с длиной последовательности, и работать с сырым сигналом LLM не может.
  • Два потока вместо одного — multi-stream модель обрабатывает токены пользователя и системы параллельно, и обе стороны могут говорить, молчать или перебивать друг друга. По словам спикера, так построена Moshi, первая full-duplex speech-to-speech модель такого рода.
  • Голос отдельно, рассуждения отдельно — маленькая модель ведёт разговор и передаёт запросы фоновой текстовой LLM, которая отвечает асинхронно и работает с инструментами. Спикер считает, что такая схема дешевле постоянного speech-to-speech и позволяет менять бэкенд, не завися от одного провайдера.

Кому полезно: тем, кто выбирает между speech-to-speech и каскадом STT, LLM, TTS для голосового агента с вызовами инструментов.

Статья по теме

Главы

Ещё доклады: Neil Zeghidour

Страница спикера →

Похожие доклады