← Каталог

· AI Engineer Summit 2023

Как довести RAG до production: поиск, оценка и анализ ошибок

Production-Ready RAG: Retrieval, Evaluation, and Failure Analysis

Чинить RAG в продакшене стоит базовыми приёмами: размером чанков, metadata filters и hybrid search, измеряя результат на собственном датасете для evals.

  • Размер чанков — оптимальный размер зависит от датасета, а больше извлечённых токенов не всегда дают лучший ответ из-за lost-in-the-middle. Reranking тоже не гарантирует улучшения итогового ответа.
  • Metadata filters — структурированный фильтр вроде year=2021 перед semantic search повышает precision: на вопрос о рисках в 10-Q без фильтра в выдаче оказываются документы других лет.
  • Small-to-big retrieval — эмбеддинги мелких фрагментов дают более точный поиск, а при синтезе окно расширяется до родительского контекста. По словам спикера, так удаётся брать K=2 вместо K=5.
  • Fine-tuning — синтетический датасет запросов, сгенерированный LLM по чанкам, позволяет дообучить embedding-модель, а дообучение только запроса не требует переиндексации корпуса.

Кому полезно: тем, у кого RAG отвечает неточно и непонятно, какой приём пробовать первым.

Статья по теме

Главы

Ещё доклады: Jerry Liu

Все 4 доклада →

Похожие доклады