← Каталог

· BAAI Conference 2026 · 北京智源大会

Мультимодальные модели: от генерации видео к интерактивным 3D-мирам

2026北京智源大会丨多模态

Min Zhao, Mingyang Deng и ещё 4 спикераВсе 6Свернуть

Двунаправленную видеомодель можно превратить в потоковую для реального времени, если дистиллировать её из каузального teacher.

  • Дистилляция в каузальную модель — ODE-дистилляция из двунаправленного teacher даёт размытые кадры, потому что отображение кадров перестаёт быть взаимно однозначным. Авторы сначала строят каузальный teacher, затем дистиллируют, и выкладывают весь пайплайн: данные, этапы обучения и инференс.
  • Одношаговая генерация без adversarial-обучения — drifting models двигают сэмплы на этапе обучения, а не на инференсе. По словам докладчика, метод стабилен и даёт хорошие результаты в один шаг, особенно вместе с feature encoder.
  • Метрическая глубина с дешёвого сенсора — грубые данные лидара или iPhone подаются как подсказка для модели глубины, и она выдаёт абсолютный масштаб. Implicit decoder предсказывает субпиксельную глубину и убирает разрывы в облаке точек на дальних расстояниях.
  • Reward из 3D-реконструкции — по словам авторов HunyuanWorld, реконструкция сгенерированного видео сравнивается с заданной траекторией, и точность следования сложным инструкциям растёт с 26% до более 70%.

Кому полезно: тем, кто делает интерактивные видео- или игровые среды и обучает агентов в симуляции.

Главы

Похожие доклады