← Каталог

· AI Engineer World's Fair 2025

Масштабирование голосового AI

Serving Voice AI at Scale — Arjun Desai (Cartesia) & Rohit Talluri (AWS)

Голосовой агент упирается в задержку всей цепочки, и TTS с задержкой около 40 мс, по словам автора, оставляет LLM запас времени на рассуждение.

  • Архитектура state-space — генерация на шаге инференса занимает O(1), а у трансформеров память и время растут квадратично с длиной входа. По словам автора, модели Cartesia не уступают трансформерам и по качеству, а не только по задержке.
  • Бюджет задержки — STT, LLM и TTS складываются в одну задержку ответа. Sonic 2, по словам спикера, в 2,5 раза быстрее предыдущей модели и выдаёт около 40 мс на генерацию.
  • Пайплайн вместо speech-to-speech — спикер считает, что speech-to-speech пока не готов для продакшена, а оркестрованная схема даёт контроль над каждым звеном: тем, как устроен диалог, и тем, как звучит голос.
  • Инференс на устройстве — локальный запуск, по словам спикера, примерно в пять раз быстрее, чем запрос в облако и обратно. Крупные модели при этом останутся в облаке.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и выбирает между схемой STT — LLM — TTS и speech-to-speech.

Статья по теме

Главы

Похожие доклады