← Каталог

· AI Engineer World's Fair 2025

Создание мультимодальных AI-агентов с нуля

Building Multimodal AI Agents (From Scratch)

Для поиска по документам с текстом и графиками, по словам спикера, достаточно скриншотов страниц и мультимодальных эмбеддингов, без чанков и отдельного описания картинок.

  • Скриншот страницы вместо чанков — текст и картинки остаются в одном элементе поиска, а в векторной базе лежат эмбеддинг и путь к скриншоту в blob storage. Спикер считает, что страница сохраняет контекст лучше пары абзацев, а соседние страницы можно подтягивать вместе с найденной.
  • VLM-архитектура вместо CLIP — в CLIP-подобных моделях текст и картинки проходят через разные сети, и возникает modality gap: нерелевантные тексты оказываются ближе друг к другу, чем релевантные текст и картинка. Модели на VLM кодируют оба типа одним энкодером.
  • Изображения в каждом вызове LLM — когда инструмент поиска возвращает ссылки на скриншоты, приложение загружает их и передаёт в мультимодальную LLM вместе с запросом и историей диалога. Так модель видит и текст, и графики при каждом шаге агента.
  • Агенты только при необходимости — по словам спикера, агенты дают дополнительную стоимость и задержку, поэтому их стоит брать для многошаговых задач без жёсткого сценария.

Кому полезно: тем, кто строит RAG по PDF с таблицами и диаграммами и хочет перейти от пайплайна с чанками к поиску по страницам.

Статья по теме

Главы

Ещё доклады: Apoorva Joshi

Страница спикера →

Похожие доклады