· AI Engineer World's Fair 2024
Оптимизация инференса LLM: от теории до экономичного развертывания
Mastering LLM Inference Optimization: From Theory to Cost-Effective Deployment
Стоимость LLM-инференса определяется памятью под KV cache, поэтому размер движка и выбор GPU стоит считать по измеренным длинам запросов, а не по готовым бенчмаркам.
- Память GPU делится на веса и KV cache — грубая оценка: число параметров умножить на два даёт объём весов в FP16 в гигабайтах. Llama 8B занимает около 16 ГБ, и на L4 с 20 ГБ под KV cache остаётся около 4 ГБ.
- Замеряйте реальные паттерны запросов — спикер советует собирать распределения input и output sequence length в продакшене и строить по ним 2D-гистограмму. Под эти данные собирается движок, а не под один отобранный сценарий из бенчмарка.
- Метрики под нагрузкой — time to first token показывает производительность prefill при высокой загрузке, inter-token latency выдаёт дрейф по мере роста KV cache. Для графиков спикер называет open source инструмент GenAI-Perf.
- FP8 и параллелизм — по словам спикера, FP8 вдвое сокращает память модели относительно FP16 почти без потери точности. Tensor parallelism лучше держать внутри одного узла, а pipeline parallelism использовать между узлами.
Кому полезно: тем, кто выбирает GPU и считает стоимость self-hosted LLM в продакшене.
Статья по теме
Главы
Похожие доклады
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию
Технические основы LLM на низком уровне
AI Engineer World's Fair 2024
Близко по содержанию
Быстрая модель — действительно быстрее? Оценивайте весь процесс
Близко по содержанию
Инфраструктура для малых моделей, которую никто не создал (поэтому мы её создали)
AI Engineer World's Fair 2025
Близко по содержанию

