· AI Engineer World's Fair 2025
Оптимизация инференса голосовых моделей в production
Optimizing inference for voice models in production
Для TTS-инференса в продакшене важнее не максимум токенов в секунду, а уложиться в реальное время и вместить больше параллельных потоков на одном GPU.
- Порог реального времени — для Orpheus TTS на базе Llama 3.2 3B хватает около 83 токенов в секунду, дальше оптимизируют time to first byte и число потоков.
- TensorRT-LLM и FP8 — по словам спикера, FP8 с квантованием KV cache работает на такой маленькой модели без заметной деградации; на половине H100 (MIG) сервис держал 16 потоков при переменной нагрузке и 24 при постоянной.
- Аудиодекодер на GPU — декодер SNAC запускается через torch.compile и inference mode, а динамический батчинг отправляет пачки каждые 15 мс. Профилирование показало, что узкое место — CPU, поэтому его добавление поднимает число потоков.
- Клиентский код — последовательные запросы с новой сессией на каждый съедают задержку; нужны общая сессия и пул процессов с параллельной отправкой. По словам спикера, лишний сетевой переход на уровне DNS добавляет 40–50 мс на каждом шаге пайплайна.
Кому полезно: тем, кто выводит голосовых агентов в продакшен на собственных GPU.
Статья по теме
На какие вопросы отвечает доклад
Как ускорить инференс TTS-модели на GPU в продакшене?
Запускать модель через TensorRT-LLM, квантовать в FP8 вместе с KV cache на Hopper, декодировать аудио на GPU через torch.compile и inference mode, батчить токены динамически с таймаутом 15 мс.
▶ 5:00TensorRT-LLM, декодирование аудио на GPU и оптимизация FP8Сколько токенов в секунду нужно голосовой модели, чтобы работать в реальном времени?
Для Orpheus около 83 токенов в секунду, что для модели на 3 млрд параметров немного. Дальше оптимизируют время до первого байта и число параллельных потоков, а не максимальный throughput.
▶ 3:22Пропускная способность в реальном времени, задержка до первого байта и параллелизм GPUПочему TTS-инференс упирается в CPU, хотя модель работает на GPU?
По профилированию реализация часто упирается в CPU: цикл предсказания следующего токена и декодирование аудио обращаются к CPU в разных точках, и это ограничивает число одновременных потоков. Добавление CPU помогает.
▶ 5:00TensorRT-LLM, декодирование аудио на GPU и оптимизация FP8Как запустить больше параллельных голосовых потоков на одном GPU, не покупая целую H100?
Использовать половину H100 через MIG с TensorRT-LLM и FP8: по словам спикера, 16 одновременных потоков при переменном трафике и 24 при постоянном.
▶ 5:00TensorRT-LLM, декодирование аудио на GPU и оптимизация FP8Почему задержка до первого байта растёт, хотя сама модель уже быстрая?
Клиентский код, который отправляет запросы последовательно и создаёт новую сессию на каждый запрос, добавляет задержку. Нужны общая сессия, пул процессов и параллельные запросы, как в бенчмарке.
▶ 11:03Инфраструктура и клиентская задержкаКак снизить задержку голосового агента, когда он состоит из нескольких моделей?
Размещать модели распознавания речи, LLM и синтеза в одном дата-центре и избегать hairpin на уровне DNS, который по словам спикера добавляет 40–50 мс на каждом шаге.
▶ 11:03Инфраструктура и клиентская задержка
Главы
Ещё доклады: Philip Kiely
Страница спикера →Что нового в инженерии инференса
AI Engineer World's Fair 2026
Введение в serving LLM с SGLang
AI Engineer World's Fair 2025
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Похожие доклады
Голос на входе, визуализация на выходе: агония и экстаз
AI Engineer World's Fair 2026
Близко по содержанию
Одна модель — разная скорость: почему важен провайдер инференса
AI Engineer World's Fair 2026
Близко по содержанию

