· AI Engineer World's Fair 2025
Как сдвинуть границу Парето в инференсе
Hacking the Inference Pareto Frontier
Инфраструктура инференса сдвигает компромисс между задержкой и стоимостью: по словам спикера, разнесение prefill и decode дает до двух раз больше токенов на GPU при той же задержке.
- Разнесение prefill и decode — prefill упирается в вычисления, decode в память, поэтому их выгодно выполнять на разных воркерах с разным числом GPU. Для Llama 70B на шестнадцати H100 спикер показывает прирост до двух раз, но при коротких входах его почти нет.
- Баланс воркеров — соотношение prefill и decode воркеров задаёт производительность: лишние decode воркеры простаивают, лишние prefill перегружают очередь. Менять его дорого, поэтому при сдвиге нагрузки нужен автоскейлинг по обоим типам.
- Роутинг с учётом KV cache — выбор узла должен учитывать и совпадение префикса, и загрузку машины. По словам спикера, с ростом кластера доля попаданий в KV cache растёт, а объём prefill падает.
- Агентные нагрузки — повторные запросы к меньшей модели дают качество, сравнимое с большой: по словам спикера, 8B модель с тремя-четырьмя повторами близка к 49B. Если известно время вызова инструмента, KV cache можно выгрузить в host memory и вернуть до следующего запроса, не пересчитывая prefill.
Кому полезно: тем, кто выводит LLM в продакшен на собственных GPU и упирается в компромисс задержки и стоимости.
Статья по теме
Главы
Похожие доклады
Оптимизация инференса LLM: от теории до экономичного развертывания
AI Engineer World's Fair 2024
Близко по содержанию
Сжатие моделей для edge-устройств
Daniel Han, Merve Noyan, Chris Alexiuk, Asma Beevi, Parth Sareen
AI Engineer World's Fair 2026
Близко по содержанию
Homa: конец TCP для AI-кластеров
Близко по содержанию
Запуск LLM локально: практическая производительность на DGX Spark
AI Engineer Europe 2026
Близко по содержанию

