· BAAI Conference 2026 · 北京智源大会
Мультимодальные модели: от генерации видео к интерактивным 3D-мирам
2026北京智源大会丨多模态
Min Zhao, Mingyang Deng и ещё 4 спикераВсе 6Свернуть
Двунаправленную видеомодель можно превратить в потоковую для реального времени, если дистиллировать её из каузального teacher.
- Дистилляция в каузальную модель — ODE-дистилляция из двунаправленного teacher даёт размытые кадры, потому что отображение кадров перестаёт быть взаимно однозначным. Авторы сначала строят каузальный teacher, затем дистиллируют, и выкладывают весь пайплайн: данные, этапы обучения и инференс.
- Одношаговая генерация без adversarial-обучения — drifting models двигают сэмплы на этапе обучения, а не на инференсе. По словам докладчика, метод стабилен и даёт хорошие результаты в один шаг, особенно вместе с feature encoder.
- Метрическая глубина с дешёвого сенсора — грубые данные лидара или iPhone подаются как подсказка для модели глубины, и она выдаёт абсолютный масштаб. Implicit decoder предсказывает субпиксельную глубину и убирает разрывы в облаке точек на дальних расстояниях.
- Reward из 3D-реконструкции — по словам авторов HunyuanWorld, реконструкция сгенерированного видео сравнивается с заданной траекторией, и точность следования сложным инструкциям растёт с 26% до более 70%.
Кому полезно: тем, кто делает интерактивные видео- или игровые среды и обучает агентов в симуляции.
Главы
Похожие доклады
BAAI Conference 2026 · 北京智源大会6:03:21
World models: JEPA, Physis, генерация 3D и обучение роботов
Zhiwei Yu, Delong Chen, Yang Liu, Boyuan Chen, Shenyuan Gao, Zhongyuan Wang, Zheng Zhu, Yujun Shen, Hao Wang, Chunchao Guo, Zhenguo Sun
BAAI Conference 2026 · 北京智源大会
Близко по содержанию
Генеративное видео со скоростью света
AI Engineer World's Fair 2026
Близко по содержанию
Any-to-Any: создание нативных мультимодальных агентов
AI Engineer Europe 2026
Близко по содержанию
EMMA от Waymo: как научить автомобили мыслить
AI Engineer World's Fair 2025
Близко по содержанию