← Каталог

· AI Engineer World's Fair 2024

RAG для руководителей AI-направлений

RAG for VPs of AI

Качество парсинга документов важнее выбора векторной базы: плохо разобранные таблицы и PDF порождают галлюцинации в RAG-системе.

  • Своя сборка вместо готового инструмента — разработчики быстрее адаптируют RAG к новым техникам, а готовые решения, купленные через закупки, медленно меняются вслед за технологиями.
  • Парсинг важнее модели — наивный парсер схлопывает таблицы и числа в сплошной текст, и LLM начинает выдумывать значения; парсер, который сохраняет пространственную раскладку, по словам авторов, лучше справляется с таблицами.
  • Фиксированные чанки ломают данные — разбиение по 1024 токенам режет таблицы и страницы пополам, а подобрать размер без датасета для оценки и сквозного тестирования нельзя.
  • Длинный контекст не отменяет retrieval — при миллиардах документов нельзя подавать всё в каждый запрос, а кэширование контекста дорогое и непрозрачное, поэтому внешнее хранилище нужно и дальше; по мнению спикера, мелкие чанки внутри страницы могут уйти.

Кому полезно: тем, кто строит RAG по корпоративным документам с таблицами и PDF и выбирает между готовым продуктом и собственной сборкой. Доклад во многом рассказывает о продуктах LlamaIndex, но инженерная часть про парсинг и чанки применима без них.

Статья по теме

Главы

Ещё доклады: Jerry Liu

Все 4 доклада →

Похожие доклады