← Каталог

Может ли ваш ИИ-аналитик хранить секреты?

Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer

Векторный поиск с учётом прав доступа остаётся быстрым, если до поиска отбрасывать кластеры, в которых у пользователя нет ни одного разрешённого документа.

  • Нативная фильтрация по правам — индекс прав строится поверх кластеров векторов: поиск идёт только в ближайших допустимых кластерах и сканирует документы внутри них. По словам авторов, на развёртывании Bridgewater с примерно 100 миллионами документов это даёт около 120 мс P90.
  • Почему не post- и pre-фильтрация — фильтрация после выборки top-10 000 теряет доступные пользователю релевантные документы, а фильтрация до поиска при большой доле разрешённых документов превращается в перебор. Первая версия поиска Bridgewater развалилась именно при росте коллекции.
  • Хранение на object storage — данные лежат в S3, GCS или Azure Blob и поднимаются в SSD или память только при запросах. По словам спикера, так терабайты обходятся часто в десятую часть стоимости систем на дисках при сопоставимой скорости на горячих данных.
  • Изоляция шире прав — региональные ограничения, приватный VPC и ключи шифрования, которыми управляет клиент. Вложенные группы пользователей при этом остаются сложным случаем, который авторы разбирают отдельно.

Кому полезно: тем, кто строит RAG по корпоративным документам, где у каждого документа свой набор прав доступа.

Статья по теме

Главы

Ещё доклады: Aaron Linsky

Страница спикера →

Похожие доклады