← Каталог

· AI Engineer Europe 2026

Создание генеративных моделей изображений и видео в больших масштабах

Building Generative Image & Video Models at Scale

Диффузионные модели для изображений и видео держатся на латентном сжатии и guidance, а большую часть контроля над результатом задают на post-training.

  • Латентный автоэнкодер вместо пикселей — по словам спикера, видео удаётся сжать в латенты примерно на два порядка меньше по объёму. Стандартные кодеки вроде JPEG или H.265 для этого не годятся: они стирают пространственную структуру, которую архитектуры используют как опору.
  • Диффузия как спектральная авторегрессия — шум сначала стирает высокие частоты, а низкие сохраняются, поэтому модель строит картинку от грубых форм к деталям. Лосс можно взвешивать по частотам, которые важнее для восприятия.
  • Guidance почти всегда включён — он обменивает разнообразие выборок на качество и соответствие промпту, но требует два прохода модели на шаг. Слишком большой масштаб даёт пересыщенные цвета, поэтому есть работы, где его поднимают в середине сэмплирования, а не в начале и конце.
  • Условия вводят на post-training — референсы вроде фото человека, управление камерой и тайминг событий плохо описываются текстом, а для большей части предобучающих данных таких разметок нет.

Кому полезно: тем, кто обучает или дообучает генераторы изображений и видео и выбирает между пиксельным и латентным пространством или настраивает guidance в продакшене.

Статья по теме

Главы

Похожие доклады