· AI Engineer World's Fair 2025
Введение в serving LLM с SGLang
Introduction to LLM serving with SGLang
Значения по умолчанию в SGLang часто не подходят под вашу нагрузку: CUDA graph и speculative decoding стоит настраивать под реальные данные и железо.
- Лимит batch для CUDA graph — на L4 с Llama 3.1 8B значение по умолчанию равно восьми, и при десяти параллельных запросах декодирование идёт без CUDA graph. В демо
cuda graph max bsподняли до 32, и CUDA graph остался включённым; отключение видно в логах сервера. - EAGLE-3 без отдельной модели-черновика — draft-модель строится из нескольких слоёв целевой модели. Параметры steps, top-k и число draft tokens подбирает встроенный скрипт бенчмарка на батчах от 1 до 16, который выводит долю принятых токенов и скорость.
- Промпты для бенчмарка — успешность speculation зависит от содержимого, поэтому тестировать стоит на данных, похожих на продакшен-трафик, иначе параметры подберутся неверные.
- Карта кодовой базы —
sgl-kernelсодержит CUDA-ядра для attention, нормализации, активаций и GEMM, Python-рантайм SRT отвечает за serving, аSGL routerреализует cache-aware routing. Для новой модели, по словам спикеров, удобно взять за образец реализацию Llama.
Кому полезно: тем, кто запускает open source модели на своих GPU или внутри закрытого контура и хочет подобрать параметры SGLang под свою нагрузку.
Статья по теме
Главы
Ещё доклады: Philip Kiely
Страница спикера →Что нового в инженерии инференса
AI Engineer World's Fair 2026
Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Похожие доклады
Gemma: семейство открытых моделей DeepMind
AI Engineer Europe 2026
Близко по содержанию
Развёртывание GPU в облаке, не выходя из IDE
AI Engineer Europe 2026
Близко по содержанию


