← Каталог

· AI Engineer World's Fair 2024

Оптимизация RAG с помощью оценки

Navigating RAG Optimization with an Evaluation-Driven Compass

Улучшать RAG стоит через оценку на доменном датасете, а не через архитектурную сложность: по словам авторов, faithfulness выросла с 0,76 почти до 0,85.

  • Метрики показывают, где ломается retrieval — context relevance и chunk relevance выявили, что в выдачу попадали документы, которые просто повторяли слова запроса вроде Qdrant и support. Для этого достаточно датасета из реальных вопросов и ожидаемых ответов.
  • Reranking вместо расширения окна — большее окно добавляло шум в контекст, а reranking отфильтровал нерелевантные документы; лучшие показатели релевантности и faithfulness дал Cohere.
  • Hybrid search для доменной терминологии — sparse-векторы находят документы с теми же терминами, и в связке с Cohere reranker это дало лучший результат почти по всем метрикам, кроме chunk relevance. Fine-tuning эмбеддингов автор назвал дорогим вариантом.

Кому полезно: тем, кто отлаживает RAG по документации и не знает, какой параметр менять первым.

Статья по теме

Главы

Ещё доклады: Deanna Emery

Страница спикера →

Похожие доклады