← Каталог

· AI Engineer World's Fair 2024

RAG и документная модель MongoDB

RAG and the MongoDB Document Model

Эмбеддинги хранятся прямо в документах MongoDB рядом с данными приложения, поэтому RAG-контекст можно собирать из тех же объектов, что обслуживают продукт.

  • Векторный индекс в той же коллекции — поле с эмбеддингом добавляется в документ, HNSW-индекс строится автоматически и синхронизируется при обновлении данных; поддерживаются векторы до 4096 измерений.
  • numCandidates управляет точностью — это число входных точек в граф HNSW: больше точек дают точнее результаты ценой скорости. Фильтр в $vectorSearch работает как предфильтр во время обхода графа.
  • Search nodes отдельно от транзакционных — векторные индексы живут на отдельных узлах и масштабируются независимо от основного кластера. По словам спикера, это позволяет подбирать ресурсы под нагрузку поиска.
  • Семантический кэш в LangChain — MongoDB служит бэкендом кэша: при попадании по семантическому сходству ответ берётся из кэша без вызова LLM. Цифр экономии в докладе нет.

Кому полезно: тем, кто уже хранит данные приложения в MongoDB и думает, нужна ли отдельная векторная база. Доклад по сути презентация продукта, полезная часть — схема запроса и настройка numCandidates.

Статья по теме

Главы

Похожие доклады