Видеть, слышать, говорить, рисовать
See, Hear, Speak, Draw
Текст работает как связующее звено между специализированными моделями: описание картинки, сравнение двух изображений и генерация по разнице замыкают цикл без человека.
- Картинка как текст для рассуждений — описание, которое GPT-4V делает для фотографии, становится текстом, с которым можно работать дальше, например передать его в DALL·E 3.
- Сравнение изображений как цикл итераций — модель сравнивает исходное и сгенерированное изображения, находит расхождения и переписывает промпт. По словам авторов, это убирает человека из цикла проверки визуального результата.
- Промпт пишет модель — по словам авторов, DALL·E 3 в ChatGPT сам дорабатывает запрос, а ручной prompt engineering для этого не нужен. Демо, по оценке спикера, занимает около 50 строк кода.
- Видео как текст по кадрам и речи — GPT-4V описывает кадры, Whisper расшифровывает звук, и из этого собирается статья с визуальной информацией, которой нет в одной расшифровке. Код авторы не публикуют.
Кому полезно: тем, кто собирает мультимодальные пайплайны из отдельных API для описания изображений, сравнения картинок или работы с видео.
Главы
Ещё доклады: Logan Kilpatrick
Страница спикера →Год развития Gemini и что дальше
AI Engineer World's Fair 2025
Похожие доклады
Any-to-Any: создание нативных мультимодальных агентов
AI Engineer Europe 2026
Близко по содержанию
Когда моя гитара нежно заговорит
AI Engineer World's Fair 2026
Близко по содержанию
Moondream: как такая маленькая vision-модель так круто справляется?
AI Engineer World's Fair 2024
Близко по содержанию
Модели пространства состояний для мультимодального интеллекта в реальном времени
AI Engineer World's Fair 2024
Близко по содержанию

