← Каталог

· AI Engineer Europe 2026

Голосовой ИИ: когда наступит момент «Она»?

Neil Zeghidour - Voice AI: when is the "Her" moment?

Полнодуплексные speech-to-speech модели пока не заменят каскадные пайплайны: им не хватает надёжности, интеллекта и работы с инструментами, по мнению спикера.

  • Задержка каскада — даже быстрый TTS тратит больше 200 миллисекунд, а человеку на весь цикл от понимания до произнесения ответа хватает примерно 200. Вызовы через OpenRouter занимают от 500 миллисекунд до 4 секунд, поэтому главным узким местом становятся tool calls.
  • Вставные реплики на время tool call — LLM разделяет ответ: пока ждёт результат инструмента, агент продолжает разговор нейтральной фразой, а затем вплетает результат в беседу. Демо на наспех собранном агенте для путешествий показывает подход, но, по словам автора, требует доработки.
  • Half-duplex против full-duplex — большинство speech-to-speech моделей либо слушают, либо говорят, и ломаются на перебиваниях и backchanneling. Moshi работает полнодуплексно, но NVIDIA PersonaPlex, построенная на его основе, по словам автора, не умела вызывать инструменты и не давала наблюдаемости.
  • Стоимость TTS — LLM и speech-to-text дешевы, а основной счёт в голосовом consumer-приложении приходится на TTS. Gradium Phonon, модель менее чем на миллион параметров, работает на CPU смартфона и поддерживает клонирование голоса; доклад во многом о продукте компании, доступном в приватной бете.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и считает бюджет на TTS и задержки tool calls.

Статья по теме

Главы

Ещё доклады: Neil Zeghidour

Страница спикера →

Похожие доклады