← Каталог

· AI Engineer World's Fair 2024

От весов модели до API-эндпоинта с TensorRT-LLM

From model weights to API endpoint with TensorRT-LLM

TensorRT-LLM окупается на больших объёмах: движок собирается под конкретные GPU, длины последовательностей и batch size, и по словам авторов даёт выигрыш по задержке и стоимости.

  • Движок привязан к железу — движок TensorRT-LLM собирается под конкретную GPU и не переносится между моделями карт, поэтому до сборки нужно знать длины входа и выхода, размер batch и схему квантизации.
  • FP8 для весов и KV cache — квантизация обоих даёт тензорным ядрам работать в одном формате; по словам авторов, post-training квантизация занимает около пяти минут, а качество почти не падает. KV cache в int8, по их опыту, теряет качество, а FP8 нет.
  • Бенчмарк на нескольких batch size — время до первого токена (TTFT) почти не меняется при росте batch с 32 до 64, но резко растёт при 128, поэтому замерять нужно во всём диапазоне нагрузки, а не на одном запросе.
  • Сеть важнее GPU — по словам авторов, в замере 180 мс TTFT почти всё уходит на сетевую задержку, а время на GPU меньше 50 мс.

Кому полезно: тем, кто запускает LLM на собственных GPU и выбирает между TensorRT-LLM и vLLM. Значительная часть доклада посвящена платформе Baseten.

Статья по теме

На какие вопросы отвечает доклад

  • Почему engine для TensorRT-LLM нельзя перенести между разными GPU?

    Engine собирается под конкретную GPU, длины последовательностей и размер батча, поэтому при смене железа его нужно собирать заново. Спикеры советуют заранее знать параметры продакшен-среды.

    ▶ 0:00Ведущие, цели воркшопа и программа TensorRT-LLM
  • Нужно ли квантизовать KV cache в FP8, если веса уже в FP8?

    По словам спикеров, для ускорения на tensor cores квантизовать нужно и веса, и KV cache. Int8 для KV cache заметно ухудшает качество, FP8 почти не ухудшает, а post-training квантизация занимает около пяти минут.

    ▶ 43:24Облачные GPU, примеры TensorRT-LLM и квантование KV cache в FP8
  • Стоит ли переходить с vLLM на TensorRT-LLM при одной-двух GPU?

    По опыту авторов, на одной-двух слабых GPU выбор фреймворка, скорее всего, почти не влияет. На A100 и H100 TensorRT-LLM стоит рассмотреть, так как он быстрее подхватывает новые GPU и техники, а vLLM догоняет с задержкой.

    ▶ 22:02Обзор квантования, вопросы о vLLM и подготовка к воркшопу
  • Как правильно замерять time to first token и пропускную способность LLM под нагрузкой?

    Замеряйте при разной concurrency, смотрите p50, p90, p95 и p99 и делайте несколько прогонов с прогревом. По словам спикеров, на тесте с Llama 8B сетевая задержка занимала большую часть TTFT, а время на GPU было меньше 50 мс.

    ▶ 1:13:36Бенчмаркинг, время до первого токена и метрики inference
  • Почему увеличение batch size резко ухудшает time to first token?

    Prefill упирается в вычисления, и при росте батча с 64 до 128 запросов TTFT сильно растёт из-за конкуренции за вычислительные слоты. Больший батч также требует больше памяти под KV cache, поэтому оптимум нужно искать замерами.

    ▶ 1:13:36Бенчмаркинг, время до первого токена и метрики inference
  • Как автоскейлить GPU-инференс больших моделей и не ждать долгий cold start?

    По словам Baseten, для моделей около 10 ГБ цель — запуск меньше 10 секунд, для 50 ГБ — меньше минуты. Без такого запуска scale to zero невозможен, автоскейлинг основан на форке Knative.

    ▶ 1:36:41Вопросы аудитории о Truss и заключительные слова
  • Как упаковать модель в Docker-образ и запустить её вне облачной платформы?

    Truss собирает Docker-образ локально из Python-кода и конфигурационного файла, и его можно запустить где угодно. Автоскейлинга и удобного цикла разработки в таком варианте нет, а открытой в Truss является только часть упаковки.

    ▶ 1:36:41Вопросы аудитории о Truss и заключительные слова

Главы

Ещё доклады: Philip Kiely

Страница спикера →

Похожие доклады