← Каталог

· AI Engineer World's Fair 2026

Стоит ли использовать speculative decoding? Профилирование vLLM на NVIDIA Blackwell

Is Speculative Decoding Worth It? Profiling vLLM on NVIDIA Blackwell — Akamai

Speculative decoding стоит включать при свободной VRAM, небольших батчах и предсказуемом выводе: там draft-токены принимаются чаще всего.

  • Когда выигрыша не будет — speculative decoding ускоряет только генерацию, а не prefill, поэтому длинные промпты с короткими ответами (RAG, разбор документов) почти не выигрывают. Высокая конкурентность тоже съедает эффект, потому что GPU и так занят.
  • Выбор draft-модели — по словам спикера, draft-модель должна быть в 10–50 раз меньше целевой, с тем же tokenizer и, желательно, из того же семейства моделей. Иначе токены придётся переводить между словарями вручную.
  • Цена по памяти — вторая модель занимает веса, а KV cache выделяется под обе модели. В демо на одном Blackwell GPU веса базовой модели занимали около 16 ГБ, draft-модели — 2,5 ГБ.
  • Структурированный и креативный вывод — на JSON и SQL спикер получил ускорение в 1,6 раза при высокой доле принятых draft-токенов. На креативной задаче при высокой температуре принятие падает, потому что следующий токен менее предсказуем.

Кому полезно: тем, кто запускает self-hosted инференс на vLLM и решает, стоит ли включать speculative decoding для своей нагрузки.

Статья по теме

Главы

Похожие доклады