← Каталог

· AI Engineer World's Fair 2025

Введение в serving LLM с SGLang

Introduction to LLM serving with SGLang

Значения по умолчанию в SGLang часто не подходят под вашу нагрузку: CUDA graph и speculative decoding стоит настраивать под реальные данные и железо.

  • Лимит batch для CUDA graph — на L4 с Llama 3.1 8B значение по умолчанию равно восьми, и при десяти параллельных запросах декодирование идёт без CUDA graph. В демо cuda graph max bs подняли до 32, и CUDA graph остался включённым; отключение видно в логах сервера.
  • EAGLE-3 без отдельной модели-черновика — draft-модель строится из нескольких слоёв целевой модели. Параметры steps, top-k и число draft tokens подбирает встроенный скрипт бенчмарка на батчах от 1 до 16, который выводит долю принятых токенов и скорость.
  • Промпты для бенчмарка — успешность speculation зависит от содержимого, поэтому тестировать стоит на данных, похожих на продакшен-трафик, иначе параметры подберутся неверные.
  • Карта кодовой базы — sgl-kernel содержит CUDA-ядра для attention, нормализации, активаций и GEMM, Python-рантайм SRT отвечает за serving, а SGL router реализует cache-aware routing. Для новой модели, по словам спикеров, удобно взять за образец реализацию Llama.

Кому полезно: тем, кто запускает open source модели на своих GPU или внутри закрытого контура и хочет подобрать параметры SGLang под свою нагрузку.

Статья по теме

Главы

Ещё доклады: Philip Kiely

Страница спикера →

Похожие доклады