Хватит гадать с настройками vLLM: бенчмаркинг LLM на Runpod
Stop Guessing Your vLLM Config: Benchmarking LLMs on Runpod - Chris Vela, Runpod
Конфигурацию vLLM стоит подбирать замерами под свою нагрузку, а не брать готовый рецепт из документации.
- Сначала задача и нагрузка — определите задачу, число параллельных пользователей и нужный размер контекста, и только потом выбирайте железо и версию vLLM. Для свежих моделей, например Kimi K3, старая версия может просто не запуститься.
- max_num_batched_tokens — в эксперименте спикера на Kimi K3 на B300 рост этого параметра заметно снизил межтокенную задержку (ITL), а время до первого токена (TTFT) почти не изменил. По словам спикера, это один прогон, и из него не следует универсальное правило.
- Сравнение перед продакшеном — прогоны шли при 1, 8, 64 и 192 параллельных запросах, и победившую конфигурацию предлагается выводить в serverless, проверяя метрику, важную приложению (ITL, TTFT или TPOT). BenchPod, который показывает спикер, пока не опубликован, поэтому доклад в основном про подход.
- Не каждой команде нужна frontier-модель — по словам спикера, DeepSeek на четырёх H200 справляется с задачами хорошо, а Kimi нужен для длинных и сложных задач. Стоимость B300-узла и инструменты вокруг модели тоже стоит учитывать.
Кому полезно: тем, кто сам разворачивает LLM на GPU и выбирает конфигурацию vLLM под конкретную нагрузку.
Статья по теме
Главы
Похожие доклады
Тот же GPU — на 50% больше результата: почему важен оператор
Близко по содержанию
Результаты frontier-уровня на устройстве
AI Engineer World's Fair 2026
Близко по содержанию
Введение в serving LLM с SGLang
AI Engineer World's Fair 2025
Близко по содержанию
Стоит ли использовать speculative decoding? Профилирование vLLM на NVIDIA Blackwell
AI Engineer World's Fair 2026
Близко по содержанию

