· AI Engineer World's Fair 2025
Масштабирование голосового AI
Serving Voice AI at Scale — Arjun Desai (Cartesia) & Rohit Talluri (AWS)
Голосовой агент упирается в задержку всей цепочки, и TTS с задержкой около 40 мс, по словам автора, оставляет LLM запас времени на рассуждение.
- Архитектура state-space — генерация на шаге инференса занимает O(1), а у трансформеров память и время растут квадратично с длиной входа. По словам автора, модели Cartesia не уступают трансформерам и по качеству, а не только по задержке.
- Бюджет задержки — STT, LLM и TTS складываются в одну задержку ответа. Sonic 2, по словам спикера, в 2,5 раза быстрее предыдущей модели и выдаёт около 40 мс на генерацию.
- Пайплайн вместо speech-to-speech — спикер считает, что speech-to-speech пока не готов для продакшена, а оркестрованная схема даёт контроль над каждым звеном: тем, как устроен диалог, и тем, как звучит голос.
- Инференс на устройстве — локальный запуск, по словам спикера, примерно в пять раз быстрее, чем запрос в облако и обратно. Крупные модели при этом останутся в облаке.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и выбирает между схемой STT — LLM — TTS и speech-to-speech.
Статья по теме
Главы
Похожие доклады
Исследования speech-to-speech моделей в Google DeepMind
Близко по содержанию
Запуск корпоративного голосового AI agent за 100 дней
AI Engineer World's Fair 2025
Близко по содержанию
Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
Близко по содержанию
Больше никаких корявых AI-транскрипций
Byungjoong, Jaehan, Myungjong Kim, Travis Bartley
AI Engineer World's Fair 2025
Близко по содержанию


