← Каталог

· AI Engineer World's Fair 2025

Голосовой AI за $1 в час: open source, LoRA, задержки и балансировка нагрузки

Serving Voice AI at $1/hr: Open-source, LoRAs, Latency, Load Balancing

Open-source TTS Orpheus можно хостить на своих GPU для real-time голоса, и ключ здесь в том, чтобы убрать тишину в начале и обслуживать LoRA-клоны пакетами.

  • Тишина в начале съедает задержку — в дефолтном голосе Orpheus около 600 мс тишины; дообучение без неё, по словам спикера, снизило задержку до около 100 мс на P50.
  • Скорость против реального времени — аудио требует около 85 SNAC-токенов в секунду; FP8 quantization в vLLM дала около 95 токенов в секунду для LoRA-голосов при одновременной обработке 10 запросов, а FP16 не держал real-time.
  • Закрепление сессий за GPU — LoRA весят 100–200 МБ, поэтому consistent hash ring с виртуальными узлами привязывает сессию к серверу с нужным адаптером.

Кому полезно: тем, кто выводит голосовых агентов в продакшен на собственных GPU.

Статья по теме

На какие вопросы отвечает доклад

  • Почему TTS-модель добавляет полсекунды тишины в начале ответа и как это убрать?

    Тишина попала в обучающие данные: в стандартном голосе Orpheus 600 мс пустоты в начале. Тонкая настройка LoRA без этой тишины снизила задержку первого звука примерно до 100 мс (P50).

    ▶ 6:34Демонстрации голоса и узкие места задержки
  • Как обслуживать много клонов голоса на одной GPU с батчингом?

    vLLM выполняет батчинг с LoRA-адаптерами: по словам авторов, батч из 10 запросов дал около 95 токенов в секунду на LoRA-голосах и 105 на базовых. FP8 динамическая квантизация включается без калибровочных данных.

    ▶ 11:33vLLM, пакетная обработка LoRA, пропускная способность GPU и балансировка нагрузки
  • Как направить сессию голосового агента на сервер, где уже загружен нужный LoRA-адаптер?

    Использовали consistent hash ring с виртуальными узлами: LoRA весят 100–200 МБ, при удалении сервера переносится лишь часть сессий. Популярный клон добавляют на больше серверов, а соответствие сессии и GPU хранят в Redis.

    ▶ 11:33vLLM, пакетная обработка LoRA, пропускная способность GPU и балансировка нагрузки
  • Сколько токенов в секунду должна выдавать модель, чтобы синтез речи шёл в реальном времени?

    Orpheus выдаёт около 85 SNAC-токенов на секунду аудио 24 кГц, поэтому сервер должен давать 90–100 токенов в секунду. Меньшая скорость приводит к разрывам в звуке.

    ▶ 2:20Consumer AI-персоны и продуктивное развёртывание Orpheus
  • Когда начинать синтез речи, пока LLM ещё генерирует ответ голосового агента?

    По словам авторов, звук начинают генерировать после первых двух предложений ответа LLM, чтобы первый аудиопакет попал в паузу после окончания реплики пользователя. Порог такой паузы, по их оценке, около полутора секунд.

    ▶ 6:34Демонстрации голоса и узкие места задержки

Главы

Похожие доклады