← Каталог

· AI Engineer Summit 2023

Эффективные гибридные запросы к контексту для grounding LLM

Building efficient hybrid context query for LLM grounding

Единый GraphQL API поверх Postgres и векторной базы позволяет LLM строить гибридные запросы, а права роли только на чтение не дают модели записывать данные.

  • Гибридный запрос через один API — LLM переводит запрос пользователя в GraphQL: семантическая часть уходит в векторный поиск по Weaviate, а фильтры по цене и категории выполняются в Postgres, и отдельные API под каждый тип поиска не нужны. Доклад построен вокруг продукта Hasura.
  • Автовекторизация по событиям — Hasura event при вставке записи в Postgres сохраняет её embeddings в векторную базу, поэтому новые товары становятся доступны для семантического поиска сразу.
  • Права роли вместо доверия промпту — при подключении модели с полным доступом она по запросу злоумышленника сгенерировала мутацию вставки и добавила товар в таблицу. Для роли Product Search Bot с правом только на чтение та же мутация завершилась ошибкой.

Кому полезно: тем, кто строит поиск по каталогу с фильтрами и даёт LLM доступ к продакшен-базе.

Статья по теме

Главы

Похожие доклады