· AI Engineer World's Fair 2024
Оптимизация RAG с помощью оценки
Navigating RAG Optimization with an Evaluation-Driven Compass
Улучшать RAG стоит через оценку на доменном датасете, а не через архитектурную сложность: по словам авторов, faithfulness выросла с 0,76 почти до 0,85.
- Метрики показывают, где ломается retrieval — context relevance и chunk relevance выявили, что в выдачу попадали документы, которые просто повторяли слова запроса вроде Qdrant и support. Для этого достаточно датасета из реальных вопросов и ожидаемых ответов.
- Reranking вместо расширения окна — большее окно добавляло шум в контекст, а reranking отфильтровал нерелевантные документы; лучшие показатели релевантности и faithfulness дал Cohere.
- Hybrid search для доменной терминологии — sparse-векторы находят документы с теми же терминами, и в связке с Cohere reranker это дало лучший результат почти по всем метрикам, кроме chunk relevance. Fine-tuning эмбеддингов автор назвал дорогим вариантом.
Кому полезно: тем, кто отлаживает RAG по документации и не знает, какой параметр менять первым.
Статья по теме
Главы
Ещё доклады: Deanna Emery
Страница спикера →Оценка AI-поиска: практический фреймворк для дополненных AI-систем
Deanna Emery, Julia Neagu, Maitar Asher
AI Engineer World's Fair 2025
Похожие доклады
Agentic GraphRAG: упрощаем поиск по структурированным и неструктурированным данным
AI Engineer World's Fair 2025
Близко по содержанию
За пределами RAG: трансформеры с расширенной памятью
AI Engineer World's Fair 2024
Близко по содержанию
Эффективные гибридные запросы к контексту для grounding LLM
AI Engineer Summit 2023
Близко по содержанию


