Ваш голосовой агент — всего лишь рация
Your Voice Agent is Just a Walkie Talkie — Neil Zeghidour, Gradium
Низкая задержка не делает голосового агента естественным: нужна full-duplex модель, которая говорит и слушает одновременно, а рассуждения отдаёт фоновой текстовой LLM.
- Полный дуплекс вместо очереди — переключение между слушанием и речью ломает разговор даже при низкой задержке. По словам спикера, в живом телефонном разговоре до 20% времени обе стороны говорят одновременно.
- Аудио как токены — сырой звук на 24 kHz даёт около 72 000 шагов на фразу из восьми слов, поэтому модели обучают на нейронных кодеках, которые сжимают звук в компактные токены. Стоимость обработки растёт квадратично с длиной последовательности, и работать с сырым сигналом LLM не может.
- Два потока вместо одного — multi-stream модель обрабатывает токены пользователя и системы параллельно, и обе стороны могут говорить, молчать или перебивать друг друга. По словам спикера, так построена Moshi, первая full-duplex speech-to-speech модель такого рода.
- Голос отдельно, рассуждения отдельно — маленькая модель ведёт разговор и передаёт запросы фоновой текстовой LLM, которая отвечает асинхронно и работает с инструментами. Спикер считает, что такая схема дешевле постоянного speech-to-speech и позволяет менять бэкенд, не завися от одного провайдера.
Кому полезно: тем, кто выбирает между speech-to-speech и каскадом STT, LLM, TTS для голосового агента с вызовами инструментов.
Статья по теме
Главы
Ещё доклады: Neil Zeghidour
Страница спикера →Голосовой ИИ: когда наступит момент «Она»?
AI Engineer Europe 2026
Похожие доклады
VoiceOps: извлечение данных из шумных аудиопотоков с низкой задержкой
AI Engineer Europe 2026
Близко по содержанию
Создание голосовых агентов с OpenAI
AI Engineer World's Fair 2025
Близко по содержанию
Задержка — это бюджет. Цель — общение как у людей
AI Engineer World's Fair 2026
Близко по содержанию

