← Каталог

· BAAI Conference 2026 · 北京智源大会

World models: JEPA, Physis, генерация 3D и обучение роботов

2026北京智源大会丨世界模型

Zhiwei Yu, Delong Chen и ещё 9 спикеровВсе 11Свернуть

Общий вывод форума: world model для агента должна предсказывать следующее состояние мира по действию, а не просто выдавать правдоподобное видео.

  • Память патчами вместо кадров — Matrix-Game 3.5 по словам авторов держит 720P при 20 FPS на одной видеокарте и помнит минуту сцены. Память хранится патчами с 3D-координатами, а не целыми кадрами, поэтому, по словам Yang Liu, согласованность при повороте камеры держится лучше.
  • События вместо фиксированного чанка — Hao Wang предлагает выравнивать видео, язык и действия по событиям переменной длины, а не по окну фиксированной длины. По его мнению, фиксированный chunk мешает модели отличать одно и то же действие, выполненное быстро и медленно.
  • Предсказание, которое правит план — Omega EVA из доклада Zhenguo Sun сначала предлагает действие, затем world model в latent space предсказывает его последствия, а refiner корректирует действие. По словам авторов, без предсказанного будущего модель заметно уступает полной версии.
  • Не нужна идеальная картинка — Yujun Shen считает, что world model для робота не обязана точно рендерить каждый пиксель, ведь робот видит реальный результат на каждом шаге. По его словам, вычисления стоит тратить на возможности модели, а не на качество кадра.

Кому полезно: тем, кто строит агентов для робототехники или симуляции и решает, учить ли world model с действиями или ограничиться VLA.

Главы

Ещё доклады: Zhongyuan Wang

Страница спикера →

Похожие доклады