← Каталог

· AI Engineer World's Fair 2025

open-rag-eval: оценка RAG без «эталонных» ответов

open-rag-eval: RAG Evaluation without "golden" answers.

Оценивать RAG-пайплайн можно без эталонных ответов и размеченных фрагментов: open-rag-eval комбинирует LLM-судей с проверкой цитат и галлюцинаций.

  • Оценка поиска без эталонов — метрика UMBRELA ставит каждому найденному фрагменту оценку от 0 до 3 по релевантности запросу. По словам авторов, исследование лаборатории Jimmy Lin из Университета Ватерлоо показывает, что такие оценки коррелируют с человеческими.
  • Оценка ответа через nuggets — AutoNuggetizer выделяет атомарные nuggets, оставляет топ-20 по важности, и LLM-судья проверяет, поддерживает ли ответ каждый из них полностью или частично.
  • Проверка цитат и галлюцинаций — citation faithfulness показывает, подкрепляет ли процитированный фрагмент ответ, а HHEM, модель Vectara, проверяет согласованность всего ответа с найденным контекстом.
  • Коннекторы и открытый код — готовые коннекторы для Vectara, LangChain и LlamaIndex, проект открыт, новые коннекторы принимаются через issues и PR.

Кому полезно: тем, кто настраивает RAG-пайплайн и не имеет размеченного датасета с эталонными ответами.

Статья по теме

Главы

Ещё доклады: Ofer Mendelevitch

Страница спикера →

Похожие доклады