← Каталог

· AI Engineer World's Fair 2025

Оценка RAG не работает! Почему и как это исправить

RAG Evaluation Is Broken! Here's Why (And How to Fix It)

Вопросы, которые требуют подсчёта и агрегации по многим документам, ломают обычный RAG, а превращение корпуса в SQL-таблицы при загрузке, по словам авторов, их решает.

  • Бенчмарки поощряют локальные ответы — большинство RAG-бенчмарков строятся на вопросах, ответ на которые лежит в одном фрагменте, поэтому высокие оценки ничего не говорят о агрегирующих запросах. На корпусе из 22 документов о чемпионатах мира по футболу обычные пайплайны (LangChain, LlamaIndex, OpenAI responses) ответили правильно лишь в 5% и 11% вопросов.
  • Схема при загрузке — документы кластеризуются в подкорпуса, для каждого выводится схема (год, победитель, призёры, лучший бомбардир), LLM-пайплайн заполняет её по каждому документу и данные уходят в SQL. На запросе выбирается схема и выполняется text-to-SQL.
  • Нормализация сущностей — нужно решить, считается ли Западная Германия Германией и что делать с турниром, который проводили несколько стран, например Южная Корея и Япония. Модели также склонны отвечать на вопросы вне корпуса, а не отказываться.
  • Границы подхода — метод работает не для всех корпусов: не каждый корпус реляционный и однородный по атрибутам, а сложные схемы усложняют text-to-SQL.

Кому полезно: тем, кто отвечает на агрегирующие вопросы по большим корпусам, например по финансовым отчётам.

Статья по теме

Главы

Ещё доклады: Yuval Belfer

Страница спикера →

Похожие доклады