← Каталог

Подключаем ИИ к миллиардам юридических документов

Connect AI to Billions of Legal Documents — Simon Eskildsen, turbopuffer & Jacob Lauritzen, Legora

Отдельный namespace turbopuffer на каждый проект, по словам авторов, убрал срыв кэша и задержки в Legora, которые в Postgres доходили до 20 секунд.

  • Горячие и холодные данные в одних партициях — хэширование проектов в около 4 000 партиций Postgres смешивало активные и неактивные проекты, и кэш постоянно вымывался; P99 поиска и индексации, по словам авторов, вырос со 100 миллисекунд до 20 секунд.
  • Namespace на проект — неактивные проекты лежат в объектном хранилище и не занимают память. По словам авторов, BM25 вернулся, задержки и стоимость снизились, а эксплуатация стала проще.
  • Изоляция для регулируемых клиентов — каждый namespace может лежать в своём bucket и шифроваться своим ключом. Часть нагрузок Legora работала без SSD-кэша, и производительность, по словам спикера, оставалась приемлемой.
  • Запись в объектное хранилище и мало обращений — запись занимает сотни миллисекунд, зато чтение устроено на минимум обращений к хранилищу, около трёх. Векторный индекс построен как дерево кластеров: верхние уровни держатся в памяти, листья лежат на SSD.

Кому полезно: тем, кто строит поиск по большим корпусам документов с мультиарендностью и требованиями к раздельному хранению данных клиентов.

Статья по теме

Главы

Ещё доклады: Jacob Lauritzen

Страница спикера →

Похожие доклады