· AI Engineer World's Fair 2026
Что нового в инженерии инференса
What's New in Inference Engineering — Philip Kiely, Baseten
Главный прирост скорости инференса в 2026 году, по словам спикера Baseten, дают диффузионный speculative decoding (DFlash) и переобучение speculator на живом трафике.
- DFlash вместо Eagle — диффузионный драфтер предсказывает блок из 8–16 токенов за проход и даёт более высокий acceptance rate. По словам автора, на одном B200 с Qwen3-8B ускорение больше 3x, хотя сам драфтер в 2–4 раза медленнее.
- Переобучение speculator на живом трафике — дообучение на реальных промптах и ответах, по словам автора, поднимает acceptance rate от 20% до 2x. Цена: хранение данных, вычисления и разрешение на их использование, а при смене базовой модели speculator придётся переобучать.
- TurboQuant для дата-центра не подходит — KV cache в 4 битах вдвое экономит память, но дополнительные вычисления в decode режут TPS больше чем вдвое. Поэтому для продакшена оставили NVFP4 на весах, а TurboQuant полезен для локального инференса с ограниченной памятью.
- Сжатие KV cache через обучение — Still сжимает кэш в компактное обученное представление за один forward pass, а не выбирает подмножество токенов. В отличие от attention matching и cartridges, которые работают на этапе инференса, сжатие здесь амортизируется обучением.
Кому полезно: тем, кто запускает большие модели на self-hosted инференсе в дата-центре и уже использует speculative decoding.
Статья по теме
Главы
Ещё доклады: Philip Kiely
Страница спикера →Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
Введение в serving LLM с SGLang
AI Engineer World's Fair 2025
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Похожие доклады
Эксплуатация распределённых систем инференса в больших масштабах
AI Engineer World's Fair 2026
Близко по содержанию
Маршрутизация с учётом KV cache и разделение prefill/decode в Kubernetes
AI Engineer World's Fair 2026
Близко по содержанию
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Близко по содержанию

