← Каталог

Уже не понять, что реально. Что будет дальше?

You Can't Tell What's Real Anymore. Here's What Comes Next - Cristóbal Valenzuela, Runway

Видеомодели, которые предсказывают следующий кадр, по словам спикера, уже выучивают физику и могут работать как интерактивная симуляция в реальном времени.

  • Физика из предсказания кадров — по словам спикера, модели учатся физике, окклюзии и постоянству объектов без отдельной функции потерь на физику; бенчмарки Runway оценивают поведение объектов по геометрии и физике, а не только по эстетике.
  • Интерактивность без 3D-движка — видеомодель в реальном времени реагирует на клики по статичному изображению: можно повернуть машину или открыть капот. По словам авторов, для этого не нужны Unity, Unreal или Blender, а такой подход они называют world action model.
  • Визуальное мышление для кодинговых агентов — агент разворачивает интерактивную визуализацию задачи, например 3D-модель велосипеда, и человек видит её и направляет агента точнее, чем текстом.

Кому полезно: тем, кто строит симуляции или интерактивные визуальные интерфейсы и думает, как показать агенту результат его действий.

Главы

Похожие доклады