· AI Engineer World's Fair 2025
Оценка RAG не работает! Почему и как это исправить
RAG Evaluation Is Broken! Here's Why (And How to Fix It)
Вопросы, которые требуют подсчёта и агрегации по многим документам, ломают обычный RAG, а превращение корпуса в SQL-таблицы при загрузке, по словам авторов, их решает.
- Бенчмарки поощряют локальные ответы — большинство RAG-бенчмарков строятся на вопросах, ответ на которые лежит в одном фрагменте, поэтому высокие оценки ничего не говорят о агрегирующих запросах. На корпусе из 22 документов о чемпионатах мира по футболу обычные пайплайны (LangChain, LlamaIndex, OpenAI responses) ответили правильно лишь в 5% и 11% вопросов.
- Схема при загрузке — документы кластеризуются в подкорпуса, для каждого выводится схема (год, победитель, призёры, лучший бомбардир), LLM-пайплайн заполняет её по каждому документу и данные уходят в SQL. На запросе выбирается схема и выполняется text-to-SQL.
- Нормализация сущностей — нужно решить, считается ли Западная Германия Германией и что делать с турниром, который проводили несколько стран, например Южная Корея и Япония. Модели также склонны отвечать на вопросы вне корпуса, а не отказываться.
- Границы подхода — метод работает не для всех корпусов: не каждый корпус реляционный и однородный по атрибутам, а сложные схемы усложняют text-to-SQL.
Кому полезно: тем, кто отвечает на агрегирующие вопросы по большим корпусам, например по финансовым отчётам.
Статья по теме
Главы
Ещё доклады: Yuval Belfer
Страница спикера →Хватит нарезать данные как в 2022 году
AI Engineer World's Fair 2026
Два незаметных бага: детективная история отладки vLLM
AI Engineer World's Fair 2026
Настоящим AI-агентам нужно планирование, а не только промптинг
AI Engineer World's Fair 2025
Похожие доклады
RAG нужна карта: как GraphRAG извлекает связанный контекст
AI Engineer World's Fair 2026
Близко по содержанию
Ваши evals бессмысленны — и вот как это исправить
AI Engineer Summit 2025
Близко по содержанию
Масштабирование корпоративных RAG-систем: опыт в юридической сфере
AI Engineer World's Fair 2025
Близко по содержанию


