· AI Engineer World's Fair 2026
Стоит ли использовать speculative decoding? Профилирование vLLM на NVIDIA Blackwell
Is Speculative Decoding Worth It? Profiling vLLM on NVIDIA Blackwell — Akamai
Speculative decoding стоит включать при свободной VRAM, небольших батчах и предсказуемом выводе: там draft-токены принимаются чаще всего.
- Когда выигрыша не будет — speculative decoding ускоряет только генерацию, а не prefill, поэтому длинные промпты с короткими ответами (RAG, разбор документов) почти не выигрывают. Высокая конкурентность тоже съедает эффект, потому что GPU и так занят.
- Выбор draft-модели — по словам спикера, draft-модель должна быть в 10–50 раз меньше целевой, с тем же tokenizer и, желательно, из того же семейства моделей. Иначе токены придётся переводить между словарями вручную.
- Цена по памяти — вторая модель занимает веса, а KV cache выделяется под обе модели. В демо на одном Blackwell GPU веса базовой модели занимали около 16 ГБ, draft-модели — 2,5 ГБ.
- Структурированный и креативный вывод — на JSON и SQL спикер получил ускорение в 1,6 раза при высокой доле принятых draft-токенов. На креативной задаче при высокой температуре принятие падает, потому что следующий токен менее предсказуем.
Кому полезно: тем, кто запускает self-hosted инференс на vLLM и решает, стоит ли включать speculative decoding для своей нагрузки.
Статья по теме
Главы
Похожие доклады
Агенты, которые сами управляют своим инференсом
AI Engineer World's Fair 2026
Близко по содержанию
Быстрая модель — действительно быстрее? Оценивайте весь процесс
Близко по содержанию
Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Близко по содержанию
Одна модель — разная скорость: почему важен провайдер инференса
AI Engineer World's Fair 2026
Близко по содержанию

