Мультимодальные модели: от генерации видео к интерактивным 3D-мирам
Min Zhao, Mingyang Deng, Sida Peng, Tengfei Wang, Yu Cheng, Ailing Zeng
BAAI Conference 2026 · 北京智源大会
Загружаем страницу…
Мультимодальные модели, компьютерное зрение, генерация изображений, видео и 3D, AI в создании контента.
Black Forest Labs рассказывает про FLUX, Krea про обучение генеративных моделей, Google DeepMind про Gemma и аудиостек Gemini. Спикеры разбирают малые vision-модели вроде Moondream, путь от генерации видео к интерактивным 3D-мирам, оценку эстетики и систему, которая создала контент на 200 миллионов просмотров.
Min Zhao, Mingyang Deng, Sida Peng, Tengfei Wang, Yu Cheng, Ailing Zeng
BAAI Conference 2026 · 北京智源大会
Zhiwei Yu, Delong Chen, Yang Liu, Boyuan Chen, Shenyuan Gao, Zhongyuan Wang, Zheng Zhu, Yujun Shen, Hao Wang, Chunchao Guo, Zhenguo Sun
BAAI Conference 2026 · 北京智源大会
Большинство моделей генерации видео диффузионные. Они начинают с шума и шаг за шагом превращают его в последовательность кадров по текстовому описанию или изображению. Сложнее всего сохранить одинаковыми объекты и движение от кадра к кадру.
VLM - языковая модель, которая понимает изображения: описывает их, отвечает на вопросы по картинке, читает текст на скриншоте. Малые VLM работают прямо на устройстве и подходят для массовой обработки изображений.