← Каталог

· AI Engineer World's Fair 2026

Что нового в инженерии инференса

What's New in Inference Engineering — Philip Kiely, Baseten

Главный прирост скорости инференса в 2026 году, по словам спикера Baseten, дают диффузионный speculative decoding (DFlash) и переобучение speculator на живом трафике.

  • DFlash вместо Eagle — диффузионный драфтер предсказывает блок из 8–16 токенов за проход и даёт более высокий acceptance rate. По словам автора, на одном B200 с Qwen3-8B ускорение больше 3x, хотя сам драфтер в 2–4 раза медленнее.
  • Переобучение speculator на живом трафике — дообучение на реальных промптах и ответах, по словам автора, поднимает acceptance rate от 20% до 2x. Цена: хранение данных, вычисления и разрешение на их использование, а при смене базовой модели speculator придётся переобучать.
  • TurboQuant для дата-центра не подходит — KV cache в 4 битах вдвое экономит память, но дополнительные вычисления в decode режут TPS больше чем вдвое. Поэтому для продакшена оставили NVFP4 на весах, а TurboQuant полезен для локального инференса с ограниченной памятью.
  • Сжатие KV cache через обучение — Still сжимает кэш в компактное обученное представление за один forward pass, а не выбирает подмножество токенов. В отличие от attention matching и cartridges, которые работают на этапе инференса, сжатие здесь амортизируется обучением.

Кому полезно: тем, кто запускает большие модели на self-hosted инференсе в дата-центре и уже использует speculative decoding.

Статья по теме

Главы

Ещё доклады: Philip Kiely

Страница спикера →

Похожие доклады