Создание генеративных моделей изображений и видео в больших масштабах
Building Generative Image & Video Models at Scale
Диффузионные модели для изображений и видео держатся на латентном сжатии и guidance, а большую часть контроля над результатом задают на post-training.
- Латентный автоэнкодер вместо пикселей — по словам спикера, видео удаётся сжать в латенты примерно на два порядка меньше по объёму. Стандартные кодеки вроде JPEG или H.265 для этого не годятся: они стирают пространственную структуру, которую архитектуры используют как опору.
- Диффузия как спектральная авторегрессия — шум сначала стирает высокие частоты, а низкие сохраняются, поэтому модель строит картинку от грубых форм к деталям. Лосс можно взвешивать по частотам, которые важнее для восприятия.
- Guidance почти всегда включён — он обменивает разнообразие выборок на качество и соответствие промпту, но требует два прохода модели на шаг. Слишком большой масштаб даёт пересыщенные цвета, поэтому есть работы, где его поднимают в середине сэмплирования, а не в начале и конце.
- Условия вводят на post-training — референсы вроде фото человека, управление камерой и тайминг событий плохо описываются текстом, а для большей части предобучающих данных таких разметок нет.
Кому полезно: тем, кто обучает или дообучает генераторы изображений и видео и выбирает между пиксельным и латентным пространством или настраивает guidance в продакшене.
Статья по теме
Главы
Похожие доклады
Как Google DeepMind исследует следующий рубеж ИИ для Gemini
AI Engineer Europe 2026
Близко по содержанию
Панель о передовых генеративных медиа
swyx, Dumitru Erhan, Nicole Brichtova, Shane Gu
AI Engineer World's Fair 2026
Близко по содержанию
Как трансформеры наконец захватили компьютерное зрение
AI Engineer Europe 2026
Близко по содержанию
Обучение LLM с нуля на локальном компьютере
AI Engineer Europe 2026
Близко по содержанию

