← Каталог

· AI Engineer Summit 2023

Инженерия ИИ 201: инференс

AI Engineering 201: Inference

Инференс упирается в пропускную способность памяти, поэтому self-hosting окупается только при большом батче, а при малом трафике выгоднее API или serverless.

  • Память, а не математика — на A100 около 312 TFLOPS для 2-байтовых чисел при 1,5 ТБ/с пропускной способности памяти, поэтому выгода GPU в том, чтобы использовать каждое чтение весов сразу для многих входов.
  • Батч определяет цену токена — по словам спикера, на A100 переход от ограничения памятью к ограничению вычислениями начинается примерно при батче 200. При низкой нагрузке батч мал, и стоимость токена растёт, поэтому сравнивать свой хостинг с API нужно по реальной загрузке.
  • Холодный старт serverless — загрузка весов в видеопамять в некоторых случаях занимает от 30 секунд до трёх минут, и это бьёт по p99 при автоскейлинге. Serverless экономит на простое, но отдаёт контроль над задержками.
  • Трассировка находит скрытые потери — по словам спикера, в vLLM на каждый элемент батча запускалось отдельное CUDA-ядро; после правки пропускная способность выросла на 30–33%. Такие ошибки видны на трассировке, а статистический профиль их часто пропускает.

Кому полезно: тем, кто выбирает между API, serverless и собственным хостингом открытых моделей и считает стоимость токена.

Статья по теме

Главы

Ещё доклады: Charles Frye

Все 5 докладов →

Похожие доклады