← Каталог

· AI Engineer World's Fair 2024

Оптимизация инференса LLM: от теории до экономичного развертывания

Mastering LLM Inference Optimization: From Theory to Cost-Effective Deployment

Стоимость LLM-инференса определяется памятью под KV cache, поэтому размер движка и выбор GPU стоит считать по измеренным длинам запросов, а не по готовым бенчмаркам.

  • Память GPU делится на веса и KV cache — грубая оценка: число параметров умножить на два даёт объём весов в FP16 в гигабайтах. Llama 8B занимает около 16 ГБ, и на L4 с 20 ГБ под KV cache остаётся около 4 ГБ.
  • Замеряйте реальные паттерны запросов — спикер советует собирать распределения input и output sequence length в продакшене и строить по ним 2D-гистограмму. Под эти данные собирается движок, а не под один отобранный сценарий из бенчмарка.
  • Метрики под нагрузкой — time to first token показывает производительность prefill при высокой загрузке, inter-token latency выдаёт дрейф по мере роста KV cache. Для графиков спикер называет open source инструмент GenAI-Perf.
  • FP8 и параллелизм — по словам спикера, FP8 вдвое сокращает память модели относительно FP16 почти без потери точности. Tensor parallelism лучше держать внутри одного узла, а pipeline parallelism использовать между узлами.

Кому полезно: тем, кто выбирает GPU и считает стоимость self-hosted LLM в продакшене.

Статья по теме

Главы

Похожие доклады