· AI Engineer World's Fair 2025
Насколько быстры движки инференса LLM?
How fast are LLM inference engines anyway?
Self-hosting open-weight моделей стал практичным, а длинный вход, по замерам спикера, даёт в четыре раза больше запросов в секунду, чем длинный выход.
- Длинный вход против длинного выхода — на одном H100 vLLM при входе 1024 и выходе 128 токенов дал около 4 запросов в секунду, против примерно 1 при обратном соотношении, а время до первого токена почти не изменилось.
- Контекст вместо рассуждений — спикер советует для качества сначала добавлять контекст, а не включать рассуждения: это дешевле и легче укладывается в SLO по латентности.
- Точность вычислений — BF16 на tensor cores заметно медленнее FP8 и FP4 на Hopper и Blackwell, но не каждое приложение может менять точность, потому что запросы приходят от пользователей.
- Честные замеры — пачку из тысячи запросов отправляли сразу, задержку мерили по одному запросу за раз, а движки запускали с настройками по умолчанию, без тюнинга. Результаты по десяти моделям и трём движкам (vLLM, SGLang, TensorRT-LLM) опубликованы в LLM Engineer's Almanac на сайте Modal.
Кому полезно: тем, кто выбирает движок инференса для self-hosted open-weight моделей и заранее оценивает латентность под свою нагрузку.
Статья по теме
Главы
Ещё доклады: Charles Frye
Все 5 докладов →Что вообще такое движок инференса?
AI Engineer World's Fair 2026
Чему мы научились за год разработки с LLM
Charles Frye, Eugene Yan, Jason Liu, Hamel Husain, Dr Bryan Bischof, Shreya Shankar
AI Engineer World's Fair 2024
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Похожие доклады
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Тот же спикер: Charles Frye
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
TLMs: компактные LLM и агенты на edge-устройствах с LiteRT-LM
AI Engineer Europe 2026
Близко по содержанию

