Инновации в Azure AI: несколько моделей, модальности и агенты
AI Engineer World's Fair 2024
Загружаем страницу…
Как люди взаимодействуют с ИИ за пределами чата: голос, изображения и видео, агенты в браузере, интерфейсы и UX AI-продуктов.
Доклады покрывают голосовых агентов и речь, мультимодальные и генеративные модели, computer use и браузерных агентов, дизайн AI-продуктов. Google DeepMind и OpenAI показывают свои speech-to-speech и мультимодальные модели, разработчики разбирают задержки, перебивания, генеративный UI и MCP Apps.
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Fryderyk Wiatrowski, Peter Albert
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Модель, которая работает с несколькими типами данных: текстом, изображениями, звуком, видео. Она может описать картинку, ответить голосом на голос или прочитать скан документа. Большинство передовых моделей сейчас мультимодальные.
Интерфейс, который модель собирает под запрос: ответ приходит в виде формы, таблицы или карточек вместо текста. MCP Apps переносят этот подход в агентов, и MCP-сервер отдаёт агенту готовые элементы интерфейса.