Black Forest Labs: FLUX, открытые исследования и будущее визуального ИИ
Black Forest Labs: FLUX, Open Research, and the Future of Visual AI
Самообучаемое представление внутри генеративной модели (SelfFlow) может заменить внешние энкодеры и, по словам авторов, улучшает качество изображений, видео и аудио сразу.
- Замена внешнего энкодера — две копии модели получают один сэмпл с разным уровнем шума: студент с сильным шумом учит генерацию и представление одновременно, а учитель, который видит слабо зашумлённые данные, даёт стабильную цель. Спикер отмечает, что более новая DINOv3 при обучении генерации давала худший результат, чем DINOv2.
- Сходимость — в показанном сравнении SelfFlow продолжает снижать loss там, где обычное flow matching обучение выходит на плато. Модели исследовательские и в продакшен не предназначены, а статья опубликована в открытом доступе.
- Одна модель для всех модальностей — модель, обученная на изображениях, видео и аудио, по словам спикера, превосходит flow matching в каждой из них. Тот же подход, обученный на действиях, предсказывает движения робота.
- Скорость редактирования — FLUX.2 [klein] в версиях 4B и 9B, по словам авторов, редактирует изображение примерно за 0,5 с при качестве не ниже открытых аналогов, тогда как Qwen тратит около 15 с.
Кому полезно: тем, кто обучает генеративные модели изображений и видео и думает, нужен ли внешний энкодер в пайплайне, или тем, кому важно редактирование почти в реальном времени.
Главы
Похожие доклады
Робототехника: почему именно сейчас?
Jost Tobias Springenberg, Quan Vuong
AI Engineer World's Fair 2025
Близко по содержанию
Современное состояние генеративных медиа
AI Engineer World's Fair 2025
Близко по содержанию
Скрытая жизнь эмбеддингов
AI Engineer Summit 2023
Близко по содержанию
Мастер-класс по ComfyUI
ComfyAnonymous, Jedrick Kosinski
AI Engineer World's Fair 2025
Близко по содержанию
