← Каталог

Хватит гадать с настройками vLLM: бенчмаркинг LLM на Runpod

Stop Guessing Your vLLM Config: Benchmarking LLMs on Runpod - Chris Vela, Runpod

Конфигурацию vLLM стоит подбирать замерами под свою нагрузку, а не брать готовый рецепт из документации.

  • Сначала задача и нагрузка — определите задачу, число параллельных пользователей и нужный размер контекста, и только потом выбирайте железо и версию vLLM. Для свежих моделей, например Kimi K3, старая версия может просто не запуститься.
  • max_num_batched_tokens — в эксперименте спикера на Kimi K3 на B300 рост этого параметра заметно снизил межтокенную задержку (ITL), а время до первого токена (TTFT) почти не изменил. По словам спикера, это один прогон, и из него не следует универсальное правило.
  • Сравнение перед продакшеном — прогоны шли при 1, 8, 64 и 192 параллельных запросах, и победившую конфигурацию предлагается выводить в serverless, проверяя метрику, важную приложению (ITL, TTFT или TPOT). BenchPod, который показывает спикер, пока не опубликован, поэтому доклад в основном про подход.
  • Не каждой команде нужна frontier-модель — по словам спикера, DeepSeek на четырёх H200 справляется с задачами хорошо, а Kimi нужен для длинных и сложных задач. Стоимость B300-узла и инструменты вокруг модели тоже стоит учитывать.

Кому полезно: тем, кто сам разворачивает LLM на GPU и выбирает конфигурацию vLLM под конкретную нагрузку.

Статья по теме

Главы

Похожие доклады