· AI Engineer World's Fair 2025
Создание мультимодальных AI-агентов с нуля
Building Multimodal AI Agents (From Scratch)
Для поиска по документам с текстом и графиками, по словам спикера, достаточно скриншотов страниц и мультимодальных эмбеддингов, без чанков и отдельного описания картинок.
- Скриншот страницы вместо чанков — текст и картинки остаются в одном элементе поиска, а в векторной базе лежат эмбеддинг и путь к скриншоту в blob storage. Спикер считает, что страница сохраняет контекст лучше пары абзацев, а соседние страницы можно подтягивать вместе с найденной.
- VLM-архитектура вместо CLIP — в CLIP-подобных моделях текст и картинки проходят через разные сети, и возникает modality gap: нерелевантные тексты оказываются ближе друг к другу, чем релевантные текст и картинка. Модели на VLM кодируют оба типа одним энкодером.
- Изображения в каждом вызове LLM — когда инструмент поиска возвращает ссылки на скриншоты, приложение загружает их и передаёт в мультимодальную LLM вместе с запросом и историей диалога. Так модель видит и текст, и графики при каждом шаге агента.
- Агенты только при необходимости — по словам спикера, агенты дают дополнительную стоимость и задержку, поэтому их стоит брать для многошаговых задач без жёсткого сценария.
Кому полезно: тем, кто строит RAG по PDF с таблицами и диаграммами и хочет перейти от пайплайна с чанками к поиску по страницам.
Статья по теме
Главы
Ещё доклады: Apoorva Joshi
Страница спикера →От А до Я: создание AI agents
AI Engineer World's Fair 2024
Проектирование AI-систем: от идеи до продакшена
AI Engineer World's Fair 2026
Похожие доклады
Современное состояние AI-поиска и извлечения информации
AI Engineer World's Fair 2025
Близко по содержанию
VoiceVision RAG: визуальный поиск по документам с голосовыми ответами
AI Engineer World's Fair 2025
Близко по содержанию
Any-to-Any: создание нативных мультимодальных агентов
AI Engineer Europe 2026
Близко по содержанию

