← Каталог

· AI Engineer World's Fair 2026

От исходных документов к данным, готовым для ИИ

From Raw Documents to AI-Ready Data — Leo Platzer & Jeff Koss

Дубли и устаревшие документы занимают большую часть top-k выдачи RAG, поэтому корпус нужно чистить до индексации, а не после.

  • Дубли и старые версии в выдаче — по оценкам авторов, если 30% файлов устарели или дублируются, до 80% контекста, который извлекает RAG, может оказаться бесполезным. Дедупликация и фильтр по свежести полезны независимо от конкретной задачи.
  • Замеры на multi-hop RAG — по словам авторов, recall примерно удвоился, а точность и выполнение задач выросли на 10–15%. Методика бенчмарка в докладе не раскрыта.
  • Срезы данных с расписанием обновления — набор файлов, отфильтрованный по качеству, свежести и чувствительности, обновляется по расписанию и подаётся в чатбот через SDK. В демо-сценарии подготовка данных сократилась с четырёх месяцев до нескольких дней.
  • Папочный индекс для кодинговых агентов — по метаданным SharePoint генерируются описания папок: типы документов, темы, когда их использовать и примеры вопросов. Claude Code или Codex выбирают нужную папку, не открывая каждый файл.

Кому полезно: тем, кто застрял с RAG на тысячах файлов в SharePoint и не понимает, какие из них вообще стоит индексировать.

Статья по теме

Главы

Похожие доклады