Инженерия ИИ 201: инференс
AI Engineering 201: Inference
Инференс упирается в пропускную способность памяти, поэтому self-hosting окупается только при большом батче, а при малом трафике выгоднее API или serverless.
- Память, а не математика — на A100 около 312 TFLOPS для 2-байтовых чисел при 1,5 ТБ/с пропускной способности памяти, поэтому выгода GPU в том, чтобы использовать каждое чтение весов сразу для многих входов.
- Батч определяет цену токена — по словам спикера, на A100 переход от ограничения памятью к ограничению вычислениями начинается примерно при батче 200. При низкой нагрузке батч мал, и стоимость токена растёт, поэтому сравнивать свой хостинг с API нужно по реальной загрузке.
- Холодный старт serverless — загрузка весов в видеопамять в некоторых случаях занимает от 30 секунд до трёх минут, и это бьёт по p99 при автоскейлинге. Serverless экономит на простое, но отдаёт контроль над задержками.
- Трассировка находит скрытые потери — по словам спикера, в vLLM на каждый элемент батча запускалось отдельное CUDA-ядро; после правки пропускная способность выросла на 30–33%. Такие ошибки видны на трассировке, а статистический профиль их часто пропускает.
Кому полезно: тем, кто выбирает между API, serverless и собственным хостингом открытых моделей и считает стоимость токена.
Статья по теме
Главы
Ещё доклады: Charles Frye
Все 5 докладов →Что вообще такое движок инференса?
AI Engineer World's Fair 2026
Чему мы научились за год разработки с LLM
Charles Frye, Eugene Yan, Jason Liu, Hamel Husain, Dr Bryan Bischof, Shreya Shankar
AI Engineer World's Fair 2024
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Похожие доклады
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Тот же спикер: Charles Frye
Ускорьте внедрение ИИ с каталогом моделей Azure AI
AI Engineer World's Fair 2024
Близко по содержанию
Сжатие моделей для edge-устройств
Daniel Han, Merve Noyan, Chris Alexiuk, Asma Beevi, Parth Sareen
AI Engineer World's Fair 2026
Близко по содержанию

