← Каталог

· AI Engineer World's Fair 2025

Как сдвинуть границу Парето в инференсе

Hacking the Inference Pareto Frontier

Инфраструктура инференса сдвигает компромисс между задержкой и стоимостью: по словам спикера, разнесение prefill и decode дает до двух раз больше токенов на GPU при той же задержке.

  • Разнесение prefill и decode — prefill упирается в вычисления, decode в память, поэтому их выгодно выполнять на разных воркерах с разным числом GPU. Для Llama 70B на шестнадцати H100 спикер показывает прирост до двух раз, но при коротких входах его почти нет.
  • Баланс воркеров — соотношение prefill и decode воркеров задаёт производительность: лишние decode воркеры простаивают, лишние prefill перегружают очередь. Менять его дорого, поэтому при сдвиге нагрузки нужен автоскейлинг по обоим типам.
  • Роутинг с учётом KV cache — выбор узла должен учитывать и совпадение префикса, и загрузку машины. По словам спикера, с ростом кластера доля попаданий в KV cache растёт, а объём prefill падает.
  • Агентные нагрузки — повторные запросы к меньшей модели дают качество, сравнимое с большой: по словам спикера, 8B модель с тремя-четырьмя повторами близка к 49B. Если известно время вызова инструмента, KV cache можно выгрузить в host memory и вернуть до следующего запроса, не пересчитывая prefill.

Кому полезно: тем, кто выводит LLM в продакшен на собственных GPU и упирается в компромисс задержки и стоимости.

Статья по теме

Главы

Похожие доклады