← Каталог

· AI Engineer World's Fair 2026

Что вообще такое движок инференса?

What Is an Inference Engine, Anyway? — Charles Frye, Modal

Скорость inference engine зависит в первую очередь не от GPU-ядер из общих библиотек, а от того, успевает ли scheduler на CPU загружать GPU работой.

  • Scheduler как узкое место — однопоточный процесс решает, что запускать на GPU, и управляет его ресурсами, поэтому может тормозить видеокарту, даже выполняя заметно меньше вычислений. По словам спикера, его работа на стороне CPU должна укладываться в время GPU-шага, которое составляет десятки и сотни миллисекунд.
  • Prefill и decode — prefill упирается в арифметику, а decode на каждый токен заново читает веса модели, поэтому у них разные узкие места и разное планирование.
  • Speculative decoding — маленькая модель предлагает несколько токенов, а целевая модель проверяет их параллельно. При правильном rejection sampling выход совпадает с последовательным с точностью до численных эффектов, а ускорение decode, по словам спикера, растёт почти линейно с качеством speculator.
  • Вытеснение KV cache — частые выгрузки кэша на CPU и диск спикер считает признаком неправильно выстроенного деплоя. Логируйте token IDs: баги токенизатора и chat template часто всплывают в первые недели после релиза модели.

Кому полезно: тем, кто сам разворачивает inference на GPU и разбирается, почему под нагрузкой растёт задержка ответа.

Статья по теме

На какие вопросы отвечает доклад

  • Почему планировщик запросов ограничивает загрузку GPU, хотя вычислений на нём почти нет?

    Планировщик семантически однопоточный: он задаёт работу для GPU, управляет ресурсами и очередью. С ростом скорости GPU нагрузка на хостовую часть растёт, поэтому её нужно держать быстрее GPU, а перепись на Rust рассматривается для тонкого хостового слоя.

    ▶ 20:58Планировщик как привратник GPU
  • Почему время до первого токена растёт с длиной промпта, если токенизация идёт параллельно?

    Длинный вход дольше обрабатывается в основном цикле: после определённого размера время почти линейно растёт с длиной. Части входа могут идти отдельными батчами и несколько раз ждать в очереди. Токенизатор редко становится узким местом для моделей от примерно 20 млрд параметров.

    ▶ 29:09Длинные промпты и задержка токенизатора
  • Как уменьшить накладные расходы CPU на запуск CUDA-ядер при декодировании?

    Используют CUDA graph capture: все ядра прямого прохода записываются в один граф, который запускается одним действием на CPU. Так CPU-работа не блокирует GPU, и почти вся работа модели выполняется на GPU.

    ▶ 49:10CUDA graphs и координация между хостом и устройством
  • Как ускорить декодирование, не меняя распределение выходов модели?

    Speculative decoding: маленький speculator предлагает несколько токенов, целевая модель проверяет их параллельно с rejection sampling. По словам авторов, при улучшении speculator ускорение декодирования растёт почти линейно, с оговоркой про численные эффекты.

    ▶ 50:55Speculative decoding и параллелизм ускорителей
  • Что означает постоянное вытеснение KV cache и как с ним быть при пиковой нагрузке?

    KV cache thrashing и вынос данных на диск означают, что движок развёрнут неправильно. Общий кэш префиксов экономит вычисления, но требует контроля ёмкости и раскладки памяти. При росте нагрузки спикер добавляет реплики, и очередь возвращается к базовому уровню.

    ▶ 44:38Параллелизм, нагрузка на кэш и холодный запуск
  • Как найти баг в токенизаторе или chat template после релиза модели?

    Логируйте token IDs вместе с запросами, гоняйте evals на самом развёрнутом сервисе и сохраняйте метрики и трейсы. Так видны регрессии во времени и различия между репликами.

    ▶ 53:56Оценка корректности и наблюдаемость в продакшене

Главы

Ещё доклады: Charles Frye

Все 5 докладов →

Похожие доклады