· AI Engineer World's Fair 2025
Голосовой AI за $1 в час: open source, LoRA, задержки и балансировка нагрузки
Serving Voice AI at $1/hr: Open-source, LoRAs, Latency, Load Balancing
Open-source TTS Orpheus можно хостить на своих GPU для real-time голоса, и ключ здесь в том, чтобы убрать тишину в начале и обслуживать LoRA-клоны пакетами.
- Тишина в начале съедает задержку — в дефолтном голосе Orpheus около 600 мс тишины; дообучение без неё, по словам спикера, снизило задержку до около 100 мс на P50.
- Скорость против реального времени — аудио требует около 85 SNAC-токенов в секунду; FP8 quantization в vLLM дала около 95 токенов в секунду для LoRA-голосов при одновременной обработке 10 запросов, а FP16 не держал real-time.
- Закрепление сессий за GPU — LoRA весят 100–200 МБ, поэтому consistent hash ring с виртуальными узлами привязывает сессию к серверу с нужным адаптером.
Кому полезно: тем, кто выводит голосовых агентов в продакшен на собственных GPU.
Статья по теме
На какие вопросы отвечает доклад
Почему TTS-модель добавляет полсекунды тишины в начале ответа и как это убрать?
Тишина попала в обучающие данные: в стандартном голосе Orpheus 600 мс пустоты в начале. Тонкая настройка LoRA без этой тишины снизила задержку первого звука примерно до 100 мс (P50).
▶ 6:34Демонстрации голоса и узкие места задержкиКак обслуживать много клонов голоса на одной GPU с батчингом?
vLLM выполняет батчинг с LoRA-адаптерами: по словам авторов, батч из 10 запросов дал около 95 токенов в секунду на LoRA-голосах и 105 на базовых. FP8 динамическая квантизация включается без калибровочных данных.
▶ 11:33vLLM, пакетная обработка LoRA, пропускная способность GPU и балансировка нагрузкиКак направить сессию голосового агента на сервер, где уже загружен нужный LoRA-адаптер?
Использовали consistent hash ring с виртуальными узлами: LoRA весят 100–200 МБ, при удалении сервера переносится лишь часть сессий. Популярный клон добавляют на больше серверов, а соответствие сессии и GPU хранят в Redis.
▶ 11:33vLLM, пакетная обработка LoRA, пропускная способность GPU и балансировка нагрузкиСколько токенов в секунду должна выдавать модель, чтобы синтез речи шёл в реальном времени?
Orpheus выдаёт около 85 SNAC-токенов на секунду аудио 24 кГц, поэтому сервер должен давать 90–100 токенов в секунду. Меньшая скорость приводит к разрывам в звуке.
▶ 2:20Consumer AI-персоны и продуктивное развёртывание OrpheusКогда начинать синтез речи, пока LLM ещё генерирует ответ голосового агента?
По словам авторов, звук начинают генерировать после первых двух предложений ответа LLM, чтобы первый аудиопакет попал в паузу после окончания реплики пользователя. Порог такой паузы, по их оценке, около полутора секунд.
▶ 6:34Демонстрации голоса и узкие места задержки
Главы
Похожие доклады
Realtime-AI не выживет
Kwindla Hultman Kramer, Sean DuBois
AI Engineer World's Fair 2025
Близко по содержанию
Запуск корпоративного голосового AI agent за 100 дней
AI Engineer World's Fair 2025
Близко по содержанию
Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
Близко по содержанию
Создание разговорных AI-агентов
AI Engineer World's Fair 2025
Близко по содержанию


