· AI Engineer World's Fair 2026
Что вообще такое движок инференса?
What Is an Inference Engine, Anyway? — Charles Frye, Modal
Скорость inference engine зависит в первую очередь не от GPU-ядер из общих библиотек, а от того, успевает ли scheduler на CPU загружать GPU работой.
- Scheduler как узкое место — однопоточный процесс решает, что запускать на GPU, и управляет его ресурсами, поэтому может тормозить видеокарту, даже выполняя заметно меньше вычислений. По словам спикера, его работа на стороне CPU должна укладываться в время GPU-шага, которое составляет десятки и сотни миллисекунд.
- Prefill и decode — prefill упирается в арифметику, а decode на каждый токен заново читает веса модели, поэтому у них разные узкие места и разное планирование.
- Speculative decoding — маленькая модель предлагает несколько токенов, а целевая модель проверяет их параллельно. При правильном rejection sampling выход совпадает с последовательным с точностью до численных эффектов, а ускорение decode, по словам спикера, растёт почти линейно с качеством speculator.
- Вытеснение KV cache — частые выгрузки кэша на CPU и диск спикер считает признаком неправильно выстроенного деплоя. Логируйте token IDs: баги токенизатора и chat template часто всплывают в первые недели после релиза модели.
Кому полезно: тем, кто сам разворачивает inference на GPU и разбирается, почему под нагрузкой растёт задержка ответа.
Статья по теме
На какие вопросы отвечает доклад
Почему планировщик запросов ограничивает загрузку GPU, хотя вычислений на нём почти нет?
Планировщик семантически однопоточный: он задаёт работу для GPU, управляет ресурсами и очередью. С ростом скорости GPU нагрузка на хостовую часть растёт, поэтому её нужно держать быстрее GPU, а перепись на Rust рассматривается для тонкого хостового слоя.
▶ 20:58Планировщик как привратник GPUПочему время до первого токена растёт с длиной промпта, если токенизация идёт параллельно?
Длинный вход дольше обрабатывается в основном цикле: после определённого размера время почти линейно растёт с длиной. Части входа могут идти отдельными батчами и несколько раз ждать в очереди. Токенизатор редко становится узким местом для моделей от примерно 20 млрд параметров.
▶ 29:09Длинные промпты и задержка токенизатораКак уменьшить накладные расходы CPU на запуск CUDA-ядер при декодировании?
Используют CUDA graph capture: все ядра прямого прохода записываются в один граф, который запускается одним действием на CPU. Так CPU-работа не блокирует GPU, и почти вся работа модели выполняется на GPU.
▶ 49:10CUDA graphs и координация между хостом и устройствомКак ускорить декодирование, не меняя распределение выходов модели?
Speculative decoding: маленький speculator предлагает несколько токенов, целевая модель проверяет их параллельно с rejection sampling. По словам авторов, при улучшении speculator ускорение декодирования растёт почти линейно, с оговоркой про численные эффекты.
▶ 50:55Speculative decoding и параллелизм ускорителейЧто означает постоянное вытеснение KV cache и как с ним быть при пиковой нагрузке?
KV cache thrashing и вынос данных на диск означают, что движок развёрнут неправильно. Общий кэш префиксов экономит вычисления, но требует контроля ёмкости и раскладки памяти. При росте нагрузки спикер добавляет реплики, и очередь возвращается к базовому уровню.
▶ 44:38Параллелизм, нагрузка на кэш и холодный запускКак найти баг в токенизаторе или chat template после релиза модели?
Логируйте token IDs вместе с запросами, гоняйте evals на самом развёрнутом сервисе и сохраняйте метрики и трейсы. Так видны регрессии во времени и различия между репликами.
▶ 53:56Оценка корректности и наблюдаемость в продакшене
Главы
Ещё доклады: Charles Frye
Все 5 докладов →Чему мы научились за год разработки с LLM
Charles Frye, Eugene Yan, Jason Liu, Hamel Husain, Dr Bryan Bischof, Shreya Shankar
AI Engineer World's Fair 2024
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Похожие доклады
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Тот же спикер: Charles Frye
Стоит ли использовать speculative decoding? Профилирование vLLM на NVIDIA Blackwell
AI Engineer World's Fair 2026
Близко по содержанию
Агенты, которые сами управляют своим инференсом
AI Engineer World's Fair 2026
Близко по содержанию

