Как довести RAG до production: поиск, оценка и анализ ошибок
Production-Ready RAG: Retrieval, Evaluation, and Failure Analysis
Чинить RAG в продакшене стоит базовыми приёмами: размером чанков, metadata filters и hybrid search, измеряя результат на собственном датасете для evals.
- Размер чанков — оптимальный размер зависит от датасета, а больше извлечённых токенов не всегда дают лучший ответ из-за lost-in-the-middle. Reranking тоже не гарантирует улучшения итогового ответа.
- Metadata filters — структурированный фильтр вроде year=2021 перед semantic search повышает precision: на вопрос о рисках в 10-Q без фильтра в выдаче оказываются документы других лет.
- Small-to-big retrieval — эмбеддинги мелких фрагментов дают более точный поиск, а при синтезе окно расширяется до родительского контекста. По словам спикера, так удаётся брать K=2 вместо K=5.
- Fine-tuning — синтетический датасет запросов, сгенерированный LLM по чанкам, позволяет дообучить embedding-модель, а дообучение только запроса не требует переиндексации корпуса.
Кому полезно: тем, у кого RAG отвечает неточно и непонятно, какой приём пробовать первым.
Статья по теме
Главы
Ещё доклады: Jerry Liu
Все 4 доклада →Создание слоя контекста документов для AI agents
AI Engineer World's Fair 2026
RAG для руководителей AI-направлений
AI Engineer World's Fair 2024
Будущее ассистентов по работе со знаниями
AI Engineer World's Fair 2024
Похожие доклады
Agentic GraphRAG: упрощаем поиск по структурированным и неструктурированным данным
AI Engineer World's Fair 2025
Близко по содержанию
Хватит нарезать данные как в 2022 году
AI Engineer World's Fair 2026
Близко по содержанию

