Эффективные гибридные запросы к контексту для grounding LLM
Building efficient hybrid context query for LLM grounding
Единый GraphQL API поверх Postgres и векторной базы позволяет LLM строить гибридные запросы, а права роли только на чтение не дают модели записывать данные.
- Гибридный запрос через один API — LLM переводит запрос пользователя в GraphQL: семантическая часть уходит в векторный поиск по Weaviate, а фильтры по цене и категории выполняются в Postgres, и отдельные API под каждый тип поиска не нужны. Доклад построен вокруг продукта Hasura.
- Автовекторизация по событиям — Hasura event при вставке записи в Postgres сохраняет её embeddings в векторную базу, поэтому новые товары становятся доступны для семантического поиска сразу.
- Права роли вместо доверия промпту — при подключении модели с полным доступом она по запросу злоумышленника сгенерировала мутацию вставки и добавила товар в таблицу. Для роли Product Search Bot с правом только на чтение та же мутация завершилась ошибкой.
Кому полезно: тем, кто строит поиск по каталогу с фильтрами и даёт LLM доступ к продакшен-базе.
Статья по теме
Главы
Похожие доклады
Постепенно добавляем все техники RAG — запрос за запросом
AI Engineer World's Fair 2025
Близко по содержанию
Маллет графа знаний: как упростить GraphRAG
AI Engineer World's Fair 2025
Близко по содержанию
Основы информационного поиска
AI Engineer World's Fair 2025
Близко по содержанию
Оптимизация RAG с помощью оценки
AI Engineer World's Fair 2024
Близко по содержанию

