· AI Engineer World's Fair 2026
От исходных документов к данным, готовым для ИИ
From Raw Documents to AI-Ready Data — Leo Platzer & Jeff Koss
Дубли и устаревшие документы занимают большую часть top-k выдачи RAG, поэтому корпус нужно чистить до индексации, а не после.
- Дубли и старые версии в выдаче — по оценкам авторов, если 30% файлов устарели или дублируются, до 80% контекста, который извлекает RAG, может оказаться бесполезным. Дедупликация и фильтр по свежести полезны независимо от конкретной задачи.
- Замеры на multi-hop RAG — по словам авторов, recall примерно удвоился, а точность и выполнение задач выросли на 10–15%. Методика бенчмарка в докладе не раскрыта.
- Срезы данных с расписанием обновления — набор файлов, отфильтрованный по качеству, свежести и чувствительности, обновляется по расписанию и подаётся в чатбот через SDK. В демо-сценарии подготовка данных сократилась с четырёх месяцев до нескольких дней.
- Папочный индекс для кодинговых агентов — по метаданным SharePoint генерируются описания папок: типы документов, темы, когда их использовать и примеры вопросов. Claude Code или Codex выбирают нужную папку, не открывая каждый файл.
Кому полезно: тем, кто застрял с RAG на тысячах файлов в SharePoint и не понимает, какие из них вообще стоит индексировать.
Статья по теме
Главы
Похожие доклады
Разбор файлов Эпштейна для JMail
AI Engineer World's Fair 2026
Близко по содержанию
Масштабирование корпоративных RAG-систем: опыт в юридической сфере
AI Engineer World's Fair 2025
Близко по содержанию
Создание платформы на базе агентов
AI Engineer World's Fair 2025
Близко по содержанию
Структурирование неструктурированных данных: продвинутый разбор документов для AI-workflows
AI Engineer World's Fair 2026
Близко по содержанию


