Голосовой ИИ: когда наступит момент «Она»?
Neil Zeghidour - Voice AI: when is the "Her" moment?
Полнодуплексные speech-to-speech модели пока не заменят каскадные пайплайны: им не хватает надёжности, интеллекта и работы с инструментами, по мнению спикера.
- Задержка каскада — даже быстрый TTS тратит больше 200 миллисекунд, а человеку на весь цикл от понимания до произнесения ответа хватает примерно 200. Вызовы через OpenRouter занимают от 500 миллисекунд до 4 секунд, поэтому главным узким местом становятся tool calls.
- Вставные реплики на время tool call — LLM разделяет ответ: пока ждёт результат инструмента, агент продолжает разговор нейтральной фразой, а затем вплетает результат в беседу. Демо на наспех собранном агенте для путешествий показывает подход, но, по словам автора, требует доработки.
- Half-duplex против full-duplex — большинство speech-to-speech моделей либо слушают, либо говорят, и ломаются на перебиваниях и backchanneling. Moshi работает полнодуплексно, но NVIDIA PersonaPlex, построенная на его основе, по словам автора, не умела вызывать инструменты и не давала наблюдаемости.
- Стоимость TTS — LLM и speech-to-text дешевы, а основной счёт в голосовом consumer-приложении приходится на TTS. Gradium Phonon, модель менее чем на миллион параметров, работает на CPU смартфона и поддерживает клонирование голоса; доклад во многом о продукте компании, доступном в приватной бете.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и считает бюджет на TTS и задержки tool calls.
Статья по теме
Главы
Ещё доклады: Neil Zeghidour
Страница спикера →Похожие доклады
От транскрипции к живой музыке: аудиостек Gemini
AI Engineer Europe 2026
Близко по содержанию
Reachy Mini: open source-робот за $300, который можно по-настоящему модифицировать
AI Engineer Europe 2026
Близко по содержанию
Задержка — это бюджет. Цель — общение как у людей
AI Engineer World's Fair 2026
Близко по содержанию

