· AI Engineer World's Fair 2025
open-rag-eval: оценка RAG без «эталонных» ответов
open-rag-eval: RAG Evaluation without "golden" answers.
Оценивать RAG-пайплайн можно без эталонных ответов и размеченных фрагментов: open-rag-eval комбинирует LLM-судей с проверкой цитат и галлюцинаций.
- Оценка поиска без эталонов — метрика UMBRELA ставит каждому найденному фрагменту оценку от 0 до 3 по релевантности запросу. По словам авторов, исследование лаборатории Jimmy Lin из Университета Ватерлоо показывает, что такие оценки коррелируют с человеческими.
- Оценка ответа через nuggets — AutoNuggetizer выделяет атомарные nuggets, оставляет топ-20 по важности, и LLM-судья проверяет, поддерживает ли ответ каждый из них полностью или частично.
- Проверка цитат и галлюцинаций — citation faithfulness показывает, подкрепляет ли процитированный фрагмент ответ, а HHEM, модель Vectara, проверяет согласованность всего ответа с найденным контекстом.
- Коннекторы и открытый код — готовые коннекторы для Vectara, LangChain и LlamaIndex, проект открыт, новые коннекторы принимаются через issues и PR.
Кому полезно: тем, кто настраивает RAG-пайплайн и не имеет размеченного датасета с эталонными ответами.
Статья по теме
Главы
Ещё доклады: Ofer Mendelevitch
Страница спикера →Deep Research в корпоративной среде: новое главное приложение для корпоративного ИИ
AI Engineer Code 2025
Скрытые затраты на создание собственного RAG-стека
AI Engineer Summit 2025
Похожие доклады
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
Стратегии для LLM evals (GuideLLM, lm-eval-harness, OpenAI Evals Workshop)
AI Engineer World's Fair 2025
Близко по содержанию
Перцептивные evals: оценка эстетики
AI Engineer World's Fair 2025
Близко по содержанию
