← Каталог

· AI Engineer Summit 2023

Видеть, слышать, говорить, рисовать

See, Hear, Speak, Draw

Текст работает как связующее звено между специализированными моделями: описание картинки, сравнение двух изображений и генерация по разнице замыкают цикл без человека.

  • Картинка как текст для рассуждений — описание, которое GPT-4V делает для фотографии, становится текстом, с которым можно работать дальше, например передать его в DALL·E 3.
  • Сравнение изображений как цикл итераций — модель сравнивает исходное и сгенерированное изображения, находит расхождения и переписывает промпт. По словам авторов, это убирает человека из цикла проверки визуального результата.
  • Промпт пишет модель — по словам авторов, DALL·E 3 в ChatGPT сам дорабатывает запрос, а ручной prompt engineering для этого не нужен. Демо, по оценке спикера, занимает около 50 строк кода.
  • Видео как текст по кадрам и речи — GPT-4V описывает кадры, Whisper расшифровывает звук, и из этого собирается статья с визуальной информацией, которой нет в одной расшифровке. Код авторы не публикуют.

Кому полезно: тем, кто собирает мультимодальные пайплайны из отдельных API для описания изображений, сравнения картинок или работы с видео.

Главы

Ещё доклады: Logan Kilpatrick

Страница спикера →

Похожие доклады