· AI Engineer World's Fair 2024
От весов модели до API-эндпоинта с TensorRT-LLM
From model weights to API endpoint with TensorRT-LLM
TensorRT-LLM окупается на больших объёмах: движок собирается под конкретные GPU, длины последовательностей и batch size, и по словам авторов даёт выигрыш по задержке и стоимости.
- Движок привязан к железу — движок TensorRT-LLM собирается под конкретную GPU и не переносится между моделями карт, поэтому до сборки нужно знать длины входа и выхода, размер batch и схему квантизации.
- FP8 для весов и KV cache — квантизация обоих даёт тензорным ядрам работать в одном формате; по словам авторов, post-training квантизация занимает около пяти минут, а качество почти не падает. KV cache в int8, по их опыту, теряет качество, а FP8 нет.
- Бенчмарк на нескольких batch size — время до первого токена (TTFT) почти не меняется при росте batch с 32 до 64, но резко растёт при 128, поэтому замерять нужно во всём диапазоне нагрузки, а не на одном запросе.
- Сеть важнее GPU — по словам авторов, в замере 180 мс TTFT почти всё уходит на сетевую задержку, а время на GPU меньше 50 мс.
Кому полезно: тем, кто запускает LLM на собственных GPU и выбирает между TensorRT-LLM и vLLM. Значительная часть доклада посвящена платформе Baseten.
Статья по теме
На какие вопросы отвечает доклад
Почему engine для TensorRT-LLM нельзя перенести между разными GPU?
Engine собирается под конкретную GPU, длины последовательностей и размер батча, поэтому при смене железа его нужно собирать заново. Спикеры советуют заранее знать параметры продакшен-среды.
▶ 0:00Ведущие, цели воркшопа и программа TensorRT-LLMНужно ли квантизовать KV cache в FP8, если веса уже в FP8?
По словам спикеров, для ускорения на tensor cores квантизовать нужно и веса, и KV cache. Int8 для KV cache заметно ухудшает качество, FP8 почти не ухудшает, а post-training квантизация занимает около пяти минут.
▶ 43:24Облачные GPU, примеры TensorRT-LLM и квантование KV cache в FP8Стоит ли переходить с vLLM на TensorRT-LLM при одной-двух GPU?
По опыту авторов, на одной-двух слабых GPU выбор фреймворка, скорее всего, почти не влияет. На A100 и H100 TensorRT-LLM стоит рассмотреть, так как он быстрее подхватывает новые GPU и техники, а vLLM догоняет с задержкой.
▶ 22:02Обзор квантования, вопросы о vLLM и подготовка к воркшопуКак правильно замерять time to first token и пропускную способность LLM под нагрузкой?
Замеряйте при разной concurrency, смотрите p50, p90, p95 и p99 и делайте несколько прогонов с прогревом. По словам спикеров, на тесте с Llama 8B сетевая задержка занимала большую часть TTFT, а время на GPU было меньше 50 мс.
▶ 1:13:36Бенчмаркинг, время до первого токена и метрики inferenceПочему увеличение batch size резко ухудшает time to first token?
Prefill упирается в вычисления, и при росте батча с 64 до 128 запросов TTFT сильно растёт из-за конкуренции за вычислительные слоты. Больший батч также требует больше памяти под KV cache, поэтому оптимум нужно искать замерами.
▶ 1:13:36Бенчмаркинг, время до первого токена и метрики inferenceКак автоскейлить GPU-инференс больших моделей и не ждать долгий cold start?
По словам Baseten, для моделей около 10 ГБ цель — запуск меньше 10 секунд, для 50 ГБ — меньше минуты. Без такого запуска scale to zero невозможен, автоскейлинг основан на форке Knative.
▶ 1:36:41Вопросы аудитории о Truss и заключительные словаКак упаковать модель в Docker-образ и запустить её вне облачной платформы?
Truss собирает Docker-образ локально из Python-кода и конфигурационного файла, и его можно запустить где угодно. Автоскейлинга и удобного цикла разработки в таком варианте нет, а открытой в Truss является только часть упаковки.
▶ 1:36:41Вопросы аудитории о Truss и заключительные слова
Главы
Ещё доклады: Philip Kiely
Страница спикера →Что нового в инженерии инференса
AI Engineer World's Fair 2026
Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
Введение в serving LLM с SGLang
AI Engineer World's Fair 2025
Похожие доклады
Вертикальная мобильность: инференс от MVP до нагрузок с триллионом параметров
AI Engineer World's Fair 2026
Близко по содержанию
Сжатие моделей для edge-устройств
Daniel Han, Merve Noyan, Chris Alexiuk, Asma Beevi, Parth Sareen
AI Engineer World's Fair 2026
Близко по содержанию


