· AI Engineer World's Fair 2026
Создание слоя контекста документов для AI agents
Building the Document Context Layer for AI Agents — Jerry Liu, LlamaIndex
Агентам нужен документный слой контекста, где быстрый парсинг всех файлов сочетается с выборочным визуальным разбором сложных страниц.
- Гибридный парсинг — файловый разбор PDF, Word и PowerPoint сочетается с VLM-моделями. По словам автора, такой подход даёт лучшее соотношение цены и точности, чем frontier-модели, применённые к документам напрямую.
- Быстрый проход и выборочная проверка — агент сначала читает все документы открытым парсером без VLM, а к страницам с таблицами и графиками подключает медленный VLM-инструмент. Парсер упакован как skill, который ставится в один клик.
- ParseBench — бенчмарк из 2000 размеченных человеком страниц с таблицами, графиками и верностью содержания. По данным автора, около 50 моделей и систем показывают, что понимание документов далеко от полного решения.
- Извлечение в структуру — из счетов, договоров и чеков выгружаются структурированные поля со ссылками на исходную страницу и оценкой уверенности, чтобы сомнительные значения уходили на проверку.
Кому полезно: тем, кто строит RAG или агентов поверх корпусов PDF и Office-файлов с таблицами и графиками.
Статья по теме
На какие вопросы отвечает доклад
Почему агенту не подходит сырой PDF и зачем нужен парсинг документов?
PDF хранит текст как глифы с координатами, таблицы как линии, а порядок чтения не гарантирован. Word и PowerPoint содержат лишнюю XML-разметку. Поэтому документ нужно перевести в интерпретируемое представление.
▶ 8:35PDF отображает страницу, а парсер восстанавливает её смыслЧем гибридный парсинг документов лучше чистого подхода через VLM?
VLM на текстовых страницах может галлюцинировать и дорого стоит. Спикер предлагает сочетать разбор структуры файла с визуальными моделями и утверждает, что такой подход лучше по соотношению цены и точности.
▶ 10:55Сочетайте разбор с учётом формата файла и визуальные моделиКак парсить тысячи PDF для агента в реальном времени без медленных VLM?
Быстрый открытый парсер на Rust без VLM делает первый проход по всем файлам. Медленный VLM-инструмент агент вызывает только для страниц с таблицами и графиками.
▶ 15:08Быстро прочитать всё, затем внимательно изучить выбранные страницыКак измерить, насколько парсер документов подходит для агентов?
ParseBench содержит 2000 страниц, проверенных людьми. Он оценивает таблицы, графики и верность содержания с точки зрения понимания агентом, а не синтаксической корректности.
▶ 10:55Сочетайте разбор с учётом формата файла и визуальные моделиКак извлекать поля из счетов и договоров с проверкой каждого значения?
Извлечение дает гранулярные ссылки на исходный документ и оценку уверенности. Сомнительные значения помечаются до записи в downstream-систему, а настройки направлены на низкую стоимость при высокой точности.
▶ 18:28Извлечение связывает чтение документов с последующими системамиЗачем агенту самому подбирать поисковые запросы вместо фиксированного top-K поиска?
Агент сам подбирает поисковые термины и циклически уточняет запросы, поэтому сложность поиска переносится в агентный слой. Даже базовые инструменты поиска дают хороший результат.
▶ 0:12От фиксированного retrieval к агенту, который сам выбирает, что искать
Главы
Ещё доклады: Jerry Liu
Все 4 доклада →RAG для руководителей AI-направлений
AI Engineer World's Fair 2024
Как довести RAG до production: поиск, оценка и анализ ошибок
AI Engineer Summit 2023
Будущее ассистентов по работе со знаниями
AI Engineer World's Fair 2024
Похожие доклады
Как создавать AI agents для автоматизации интеллектуальной работы
AI Engineer World's Fair 2025
Тот же спикер: Jerry Liu
RAG нужна карта: как GraphRAG извлекает связанный контекст
AI Engineer World's Fair 2026
Близко по содержанию
Разбор файлов Эпштейна для JMail
AI Engineer World's Fair 2026
Близко по содержанию

