Инференс LLM в больших масштабах
Deep dive on LLM Inference at Scale — Harshul Jain, Audible & Tanmay Sah, Independent AI Researcher
Стоимость LLM-инференса упирается в память под KV cache, а выбор движка зависит от того, стандартная это нагрузка или агентная.
- Память растёт с контекстом и пользователями — по расчётам спикеров, KV cache для Mistral 7B занимает около 131 КБ на токен; при контексте 4K и 80 пользователях это около 42 ГБ, поэтому на 24-гигабайтной GPU такая нагрузка не помещается.
- Prefill и decode упираются в разное — prefill ограничен вычислениями и определяет TTFT, decode ограничен пропускной способностью памяти и задаёт inter-token latency, поэтому их оптимизируют по-разному.
- Квантизация весов и KV cache — int8 уменьшает веса 7B модели с 15 ГБ до 7,5 ГБ, освобождая место под KV cache; по словам спикеров, int4 при этом заметно снижает пропускную способность.
- Выбор движка — на датасете ShareGPT vLLM и SGLang не различались статистически, а в агентном сценарии с ветвлением запросов, по их измерениям, SGLang был в 3–4 раза быстрее.
Кому полезно: инженерам, которые сами разворачивают открытые модели на GPU и считают стоимость одного миллиона токенов.
Статья по теме
Главы
Ещё доклады: Tanmay Sah
Страница спикера →Ещё доклады: Harshul Jain
Страница спикера →Твоей self-hosted LLM нужно уметь говорить «нет»
AI Engineer Code 2026
Похожие доклады
Агенты, которые сами управляют своим инференсом
AI Engineer World's Fair 2026
Близко по содержанию
Luminal — компиляторы глубокого обучения с поиском оптимизаций
AI Engineer World's Fair 2025
Близко по содержанию
TLMs: компактные LLM и агенты на edge-устройствах с LiteRT-LM
AI Engineer Europe 2026
Близко по содержанию
Что делает открытые модели быстрыми в production
AI Engineer Code 2025
Близко по содержанию


