Возможно, вам не нужны 50 шагов диффузии
You Might Not Need 50 Diffusion Steps
Комбинация квантизации, кэширования и дистилляции сокращает 20–50 шагов денойзинга до нескольких и приближает генерацию видео к реальному времени.
- Квантизация FLUX.2 — динамическая квантизация, сделанная совместно с Black Forest Labs, снижает требования к памяти и ускоряет работу на Blackwell. Готовые квантованные чекпоинты есть на Hugging Face, если не нужен fine-tuning.
- Chunk-based кэширование — пересчитывается только изменившийся фрагмент кадра, а не весь кадр. Порог задаётся вручную, качество нужно проверять; флаг есть в TensorRT-LLM VisualGen, а также в vLLM Omni и SGLang Diffusion.
- Step-дистилляция — студент учится давать качество 50 шагов за 4–8, а иногда за один. По словам спикера, это может дать прирост в 10–200 раз.
- Затраты на дистилляцию — это пост-обучение со своими данными, которое требует меньше вычислений, чем pre-training. По словам спикера, хватает Hopper или Blackwell, а не только GB200.
Кому полезно: тем, кто выводит генерацию изображений или видео в продакшен и упирается в задержку.
Статья по теме
Главы
Похожие доклады
Что делает открытые модели быстрыми в production
AI Engineer Code 2025
Близко по содержанию
Как устроен Magic Editor: генеративный ИИ в приложении с миллиардом пользователей
AI Engineer World's Fair 2025
Близко по содержанию
Black Forest Labs: FLUX, открытые исследования и будущее визуального ИИ
AI Engineer Europe 2026
Близко по содержанию
Масштабирование reinforcement learning между дата-центрами
AI Engineer World's Fair 2026
Близко по содержанию

