Мультимодальные модели: от генерации видео к интерактивным 3D-мирам
Min Zhao, Mingyang Deng, Sida Peng, Tengfei Wang, Yu Cheng, Ailing Zeng
BAAI Conference 2026 · 北京智源大会
Загружаем страницу…
Как люди взаимодействуют с ИИ за пределами чата: голос, изображения и видео, агенты в браузере, интерфейсы и UX AI-продуктов.
Доклады покрывают голосовых агентов и речь, мультимодальные и генеративные модели, computer use и браузерных агентов, дизайн AI-продуктов. Google DeepMind и OpenAI показывают свои speech-to-speech и мультимодальные модели, разработчики разбирают задержки, перебивания, генеративный UI и MCP Apps.
Min Zhao, Mingyang Deng, Sida Peng, Tengfei Wang, Yu Cheng, Ailing Zeng
BAAI Conference 2026 · 北京智源大会
Zhiwei Yu, Delong Chen, Yang Liu, Boyuan Chen, Shenyuan Gao, Zhongyuan Wang, Zheng Zhu, Yujun Shen, Hao Wang, Chunchao Guo, Zhenguo Sun
BAAI Conference 2026 · 北京智源大会
Модель, которая работает с несколькими типами данных: текстом, изображениями, звуком, видео. Она может описать картинку, ответить голосом на голос или прочитать скан документа. Большинство передовых моделей сейчас мультимодальные.
Интерфейс, который модель собирает под запрос: ответ приходит в виде формы, таблицы или карточек вместо текста. MCP Apps переносят этот подход в агентов, и MCP-сервер отдаёт агенту готовые элементы интерфейса.