· AI Engineer World's Fair 2026
Два незаметных бага: детективная история отладки vLLM
Two Bugs That Hid in Plain Sight: A vLLM Debugging Detective Story — Asaf Gardin & Yuval Belfer
В инференсе гибридной Mamba-модели в vLLM тихие баги выдают уверенную чушь без ошибок, и находятся они сравнением logprob с эталонным движком.
- Порядок prefill и decode — планировщик иногда запускал decode раньше prefill для нового запроса, и Mamba читала состояние, оставшееся от чужих запросов. У attention такой проблемы нет, потому что KV перезаписывается до чтения; фикс — помечать запросы без вычисленных токенов как prefill.
- Переполнение индекса — Mamba-ядра хранили смещение в кэше состояний как 32-битное беззнаковое, и после примерно 4 миллиардов оно оборачивалось вместо ошибки. Замена типа на size_t устранила сбой; при снижении
gpu_memory_utilizationс 0.9 до 0.2 буфер был мал, и баг пропадал, что сбивало с толку. - Воспроизведение под нагрузкой — при 128 генерациях на промпт вместо 8 всплески logprob в RL появлялись уже на первом шаге, а не каждые 12 шагов. Параметры, которые меняют форму сбоя (момент, место, частоту), быстрее указывают на нужную подсистему, чем подсчёт ошибок.
- Сравнение с эталоном — полную последовательность прогоняли через Hugging Face Transformers, только prefill, и сравнивали распределения токенов с выводом vLLM. Такой скрипт отделяет проблему инференса от проблемы модели, а идентификатор запроса стоит протянуть через forward context, иначе ядра не знают, с каким запросом работают.
Кому полезно: тем, кто запускает гибридные или SSM-модели на vLLM или видит необъяснимые скачки logprob в RL-обучении.
Статья по теме
На какие вопросы отвечает доклад
Почему inference-движок vLLM выдаёт бессмыслицу после тысячи запросов без единой ошибки?
Планировщик иногда запускал decode раньше prefill для нового запроса, и Mamba читала состояние, оставшееся от предыдущих запросов. Исправление: помечать запросы без вычисленных токенов как prefill.
▶ 7:17Погружение во внутренности vLLMПочему устаревшие данные ломают Mamba-слои, но не ломают attention?
В attention KV-кэш записывается до чтения, поэтому устаревшие данные перезаписываются. Mamba сначала читает состояние и считает по нему, поэтому старые данные попадают в результат.
▶ 7:17Погружение во внутренности vLLMКак найти расхождение в выходах inference-движка, сравнив его с эталонной реализацией?
Генерируют ответ в vLLM с logprobs, затем прогоняют полную последовательность через prefill в Hugging Face Transformers и сравнивают распределения токенов через softmax.
▶ 3:47Воспроизведение под давлением памятиКак ускорить воспроизведение редкой ошибки инференса, которая появляется через тысячи запросов?
Снижение gpu_memory_utilization с 0.9 до 0.2 помогло воспроизвести бессмыслицу, а 128 rollouts на промпт сделали спайк заметным на первом шаге. В другом случае снижение памяти оказалось ложным следом.
▶ 3:47Воспроизведение под давлением памятиПочему логпробы расходятся между rollout и обучением при одинаковых весах модели?
Спайки каждые 12 шагов оказались переполнением uint32-индекса в кэше состояний Mamba: при выходе за 4 миллиарда индекс заворачивался. Исправили заменой типа на size_t.
▶ 14:19Переполнение uint32 в кэше состоянийКак отлаживать тихие ошибки в LLM-инференсе, где нет ни падения, ни трассировки стека?
Строить скрипт сравнения логпробов с эталонным фреймворком, воспроизводить баг под давлением памяти, протягивать ID запроса до forward pass и читать код движка.
▶ 16:20Уроки отладки инференса
Главы
Ещё доклады: Yuval Belfer
Страница спикера →Хватит нарезать данные как в 2022 году
AI Engineer World's Fair 2026
Настоящим AI-агентам нужно планирование, а не только промптинг
AI Engineer World's Fair 2025
Оценка RAG не работает! Почему и как это исправить
AI Engineer World's Fair 2025
Похожие доклады
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Близко по содержанию
Оптимизация инференса LLM: от теории до экономичного развертывания
AI Engineer World's Fair 2024
Близко по содержанию
Запуск LLM локально: практическая производительность на DGX Spark
AI Engineer Europe 2026
Близко по содержанию
Инференс LLM в больших масштабах
Близко по содержанию


