← Каталог

· AI Engineer World's Fair 2025

RAG-стек, к которому мы пришли после 37 неудач

The RAG Stack We Landed On After 37 Fails

Рабочий RAG-стек, который автор выработал после 37 неудачных экспериментов, строится на открытых эмбеддингах, Qdrant и reranker, и именно reranker заметно улучшает ответы.

  • Reranker после векторного поиска — из Qdrant берутся пять результатов, затем Cohere reranker выбирает наиболее подходящие. На базе из 32 HTML-страниц о железнодорожной компании в Лондоне без этого шага ответы на вопрос «где получить помощь на вокзале» оставались неполными, а с reranker стали точными.
  • Открытые модели для продакшена — эмбеддинги BAAI или NVIDIA, Llama 3.2 или Qwen3 4B через Ollama либо Text Generation Inference, reranker NVIDIA. Всё запускается в Docker Compose on-premise, что нужно финансовым организациям, с которыми работает автор.
  • Прототип в Google Colab — сначала компоненты собираются в Colab на бесплатном ускорителе, затем переносятся в контейнеры.
  • Трассировка и оценка — Arize Phoenix показывает, сколько времени занимает каждый компонент, а Ragas проверяет качество на большом наборе вопросов, а не на одном.

Кому полезно: тем, кто переносит RAG-систему из прототипа в on-premise продакшен и выбирает компоненты стека.

Статья по теме

Главы

Похожие доклады