← Каталог

Инференс LLM в больших масштабах

Deep dive on LLM Inference at Scale — Harshul Jain, Audible & Tanmay Sah, Independent AI Researcher

Стоимость LLM-инференса упирается в память под KV cache, а выбор движка зависит от того, стандартная это нагрузка или агентная.

  • Память растёт с контекстом и пользователями — по расчётам спикеров, KV cache для Mistral 7B занимает около 131 КБ на токен; при контексте 4K и 80 пользователях это около 42 ГБ, поэтому на 24-гигабайтной GPU такая нагрузка не помещается.
  • Prefill и decode упираются в разное — prefill ограничен вычислениями и определяет TTFT, decode ограничен пропускной способностью памяти и задаёт inter-token latency, поэтому их оптимизируют по-разному.
  • Квантизация весов и KV cache — int8 уменьшает веса 7B модели с 15 ГБ до 7,5 ГБ, освобождая место под KV cache; по словам спикеров, int4 при этом заметно снижает пропускную способность.
  • Выбор движка — на датасете ShareGPT vLLM и SGLang не различались статистически, а в агентном сценарии с ветвлением запросов, по их измерениям, SGLang был в 3–4 раза быстрее.

Кому полезно: инженерам, которые сами разворачивают открытые модели на GPU и считают стоимость одного миллиона токенов.

Статья по теме

Главы

Ещё доклады: Tanmay Sah

Страница спикера →

Ещё доклады: Harshul Jain

Страница спикера →

Похожие доклады