← Каталог

· AI Engineer World's Fair 2025

Насколько быстры движки инференса LLM?

How fast are LLM inference engines anyway?

Self-hosting open-weight моделей стал практичным, а длинный вход, по замерам спикера, даёт в четыре раза больше запросов в секунду, чем длинный выход.

  • Длинный вход против длинного выхода — на одном H100 vLLM при входе 1024 и выходе 128 токенов дал около 4 запросов в секунду, против примерно 1 при обратном соотношении, а время до первого токена почти не изменилось.
  • Контекст вместо рассуждений — спикер советует для качества сначала добавлять контекст, а не включать рассуждения: это дешевле и легче укладывается в SLO по латентности.
  • Точность вычислений — BF16 на tensor cores заметно медленнее FP8 и FP4 на Hopper и Blackwell, но не каждое приложение может менять точность, потому что запросы приходят от пользователей.
  • Честные замеры — пачку из тысячи запросов отправляли сразу, задержку мерили по одному запросу за раз, а движки запускали с настройками по умолчанию, без тюнинга. Результаты по десяти моделям и трём движкам (vLLM, SGLang, TensorRT-LLM) опубликованы в LLM Engineer's Almanac на сайте Modal.

Кому полезно: тем, кто выбирает движок инференса для self-hosted open-weight моделей и заранее оценивает латентность под свою нагрузку.

Статья по теме

Главы

Ещё доклады: Charles Frye

Все 5 докладов →

Похожие доклады