· AI Engineer World's Fair 2025
RAG-стек, к которому мы пришли после 37 неудач
The RAG Stack We Landed On After 37 Fails
Рабочий RAG-стек, который автор выработал после 37 неудачных экспериментов, строится на открытых эмбеддингах, Qdrant и reranker, и именно reranker заметно улучшает ответы.
- Reranker после векторного поиска — из Qdrant берутся пять результатов, затем Cohere reranker выбирает наиболее подходящие. На базе из 32 HTML-страниц о железнодорожной компании в Лондоне без этого шага ответы на вопрос «где получить помощь на вокзале» оставались неполными, а с reranker стали точными.
- Открытые модели для продакшена — эмбеддинги BAAI или NVIDIA, Llama 3.2 или Qwen3 4B через Ollama либо Text Generation Inference, reranker NVIDIA. Всё запускается в Docker Compose on-premise, что нужно финансовым организациям, с которыми работает автор.
- Прототип в Google Colab — сначала компоненты собираются в Colab на бесплатном ускорителе, затем переносятся в контейнеры.
- Трассировка и оценка — Arize Phoenix показывает, сколько времени занимает каждый компонент, а Ragas проверяет качество на большом наборе вопросов, а не на одном.
Кому полезно: тем, кто переносит RAG-систему из прототипа в on-premise продакшен и выбирает компоненты стека.
Статья по теме
Главы
Похожие доклады
Графы знаний и GraphRAG: методы создания эффективных GenAI-приложений
Michael Hunger, Andreas Kolleger, Tomasz, Zach Blumenthal
AI Engineer World's Fair 2024
Близко по содержанию
Запуск EyeLevel: почему ваш RAG дает сбои на самом деле
AI Engineer World's Fair 2024
Близко по содержанию
За пределами RAG: реляционный context engine сокращает расход токенов
AI Engineer World's Fair 2026
Близко по содержанию
RAG в реальных условиях
AI Engineer Summit 2023
Близко по содержанию

