← Каталог

· AI Engineer World's Fair 2026

Два незаметных бага: детективная история отладки vLLM

Two Bugs That Hid in Plain Sight: A vLLM Debugging Detective Story — Asaf Gardin & Yuval Belfer

В инференсе гибридной Mamba-модели в vLLM тихие баги выдают уверенную чушь без ошибок, и находятся они сравнением logprob с эталонным движком.

  • Порядок prefill и decode — планировщик иногда запускал decode раньше prefill для нового запроса, и Mamba читала состояние, оставшееся от чужих запросов. У attention такой проблемы нет, потому что KV перезаписывается до чтения; фикс — помечать запросы без вычисленных токенов как prefill.
  • Переполнение индекса — Mamba-ядра хранили смещение в кэше состояний как 32-битное беззнаковое, и после примерно 4 миллиардов оно оборачивалось вместо ошибки. Замена типа на size_t устранила сбой; при снижении gpu_memory_utilization с 0.9 до 0.2 буфер был мал, и баг пропадал, что сбивало с толку.
  • Воспроизведение под нагрузкой — при 128 генерациях на промпт вместо 8 всплески logprob в RL появлялись уже на первом шаге, а не каждые 12 шагов. Параметры, которые меняют форму сбоя (момент, место, частоту), быстрее указывают на нужную подсистему, чем подсчёт ошибок.
  • Сравнение с эталоном — полную последовательность прогоняли через Hugging Face Transformers, только prefill, и сравнивали распределения токенов с выводом vLLM. Такой скрипт отделяет проблему инференса от проблемы модели, а идентификатор запроса стоит протянуть через forward context, иначе ядра не знают, с каким запросом работают.

Кому полезно: тем, кто запускает гибридные или SSM-модели на vLLM или видит необъяснимые скачки logprob в RL-обучении.

Статья по теме

На какие вопросы отвечает доклад

  • Почему inference-движок vLLM выдаёт бессмыслицу после тысячи запросов без единой ошибки?

    Планировщик иногда запускал decode раньше prefill для нового запроса, и Mamba читала состояние, оставшееся от предыдущих запросов. Исправление: помечать запросы без вычисленных токенов как prefill.

    ▶ 7:17Погружение во внутренности vLLM
  • Почему устаревшие данные ломают Mamba-слои, но не ломают attention?

    В attention KV-кэш записывается до чтения, поэтому устаревшие данные перезаписываются. Mamba сначала читает состояние и считает по нему, поэтому старые данные попадают в результат.

    ▶ 7:17Погружение во внутренности vLLM
  • Как найти расхождение в выходах inference-движка, сравнив его с эталонной реализацией?

    Генерируют ответ в vLLM с logprobs, затем прогоняют полную последовательность через prefill в Hugging Face Transformers и сравнивают распределения токенов через softmax.

    ▶ 3:47Воспроизведение под давлением памяти
  • Как ускорить воспроизведение редкой ошибки инференса, которая появляется через тысячи запросов?

    Снижение gpu_memory_utilization с 0.9 до 0.2 помогло воспроизвести бессмыслицу, а 128 rollouts на промпт сделали спайк заметным на первом шаге. В другом случае снижение памяти оказалось ложным следом.

    ▶ 3:47Воспроизведение под давлением памяти
  • Почему логпробы расходятся между rollout и обучением при одинаковых весах модели?

    Спайки каждые 12 шагов оказались переполнением uint32-индекса в кэше состояний Mamba: при выходе за 4 миллиарда индекс заворачивался. Исправили заменой типа на size_t.

    ▶ 14:19Переполнение uint32 в кэше состояний
  • Как отлаживать тихие ошибки в LLM-инференсе, где нет ни падения, ни трассировки стека?

    Строить скрипт сравнения логпробов с эталонным фреймворком, воспроизводить баг под давлением памяти, протягивать ID запроса до forward pass и читать код движка.

    ▶ 16:20Уроки отладки инференса

Главы

Ещё доклады: Yuval Belfer

Страница спикера →

Похожие доклады