← Каталог

· AI Engineer World's Fair 2025

Оптимизация инференса голосовых моделей в production

Optimizing inference for voice models in production

Для TTS-инференса в продакшене важнее не максимум токенов в секунду, а уложиться в реальное время и вместить больше параллельных потоков на одном GPU.

  • Порог реального времени — для Orpheus TTS на базе Llama 3.2 3B хватает около 83 токенов в секунду, дальше оптимизируют time to first byte и число потоков.
  • TensorRT-LLM и FP8 — по словам спикера, FP8 с квантованием KV cache работает на такой маленькой модели без заметной деградации; на половине H100 (MIG) сервис держал 16 потоков при переменной нагрузке и 24 при постоянной.
  • Аудиодекодер на GPU — декодер SNAC запускается через torch.compile и inference mode, а динамический батчинг отправляет пачки каждые 15 мс. Профилирование показало, что узкое место — CPU, поэтому его добавление поднимает число потоков.
  • Клиентский код — последовательные запросы с новой сессией на каждый съедают задержку; нужны общая сессия и пул процессов с параллельной отправкой. По словам спикера, лишний сетевой переход на уровне DNS добавляет 40–50 мс на каждом шаге пайплайна.

Кому полезно: тем, кто выводит голосовых агентов в продакшен на собственных GPU.

Статья по теме

На какие вопросы отвечает доклад

  • Как ускорить инференс TTS-модели на GPU в продакшене?

    Запускать модель через TensorRT-LLM, квантовать в FP8 вместе с KV cache на Hopper, декодировать аудио на GPU через torch.compile и inference mode, батчить токены динамически с таймаутом 15 мс.

    ▶ 5:00TensorRT-LLM, декодирование аудио на GPU и оптимизация FP8
  • Сколько токенов в секунду нужно голосовой модели, чтобы работать в реальном времени?

    Для Orpheus около 83 токенов в секунду, что для модели на 3 млрд параметров немного. Дальше оптимизируют время до первого байта и число параллельных потоков, а не максимальный throughput.

    ▶ 3:22Пропускная способность в реальном времени, задержка до первого байта и параллелизм GPU
  • Почему TTS-инференс упирается в CPU, хотя модель работает на GPU?

    По профилированию реализация часто упирается в CPU: цикл предсказания следующего токена и декодирование аудио обращаются к CPU в разных точках, и это ограничивает число одновременных потоков. Добавление CPU помогает.

    ▶ 5:00TensorRT-LLM, декодирование аудио на GPU и оптимизация FP8
  • Как запустить больше параллельных голосовых потоков на одном GPU, не покупая целую H100?

    Использовать половину H100 через MIG с TensorRT-LLM и FP8: по словам спикера, 16 одновременных потоков при переменном трафике и 24 при постоянном.

    ▶ 5:00TensorRT-LLM, декодирование аудио на GPU и оптимизация FP8
  • Почему задержка до первого байта растёт, хотя сама модель уже быстрая?

    Клиентский код, который отправляет запросы последовательно и создаёт новую сессию на каждый запрос, добавляет задержку. Нужны общая сессия, пул процессов и параллельные запросы, как в бенчмарке.

    ▶ 11:03Инфраструктура и клиентская задержка
  • Как снизить задержку голосового агента, когда он состоит из нескольких моделей?

    Размещать модели распознавания речи, LLM и синтеза в одном дата-центре и избегать hairpin на уровне DNS, который по словам спикера добавляет 40–50 мс на каждом шаге.

    ▶ 11:03Инфраструктура и клиентская задержка

Главы

Ещё доклады: Philip Kiely

Страница спикера →

Похожие доклады