Подключаем ИИ к миллиардам юридических документов
Connect AI to Billions of Legal Documents — Simon Eskildsen, turbopuffer & Jacob Lauritzen, Legora
Отдельный namespace turbopuffer на каждый проект, по словам авторов, убрал срыв кэша и задержки в Legora, которые в Postgres доходили до 20 секунд.
- Горячие и холодные данные в одних партициях — хэширование проектов в около 4 000 партиций Postgres смешивало активные и неактивные проекты, и кэш постоянно вымывался; P99 поиска и индексации, по словам авторов, вырос со 100 миллисекунд до 20 секунд.
- Namespace на проект — неактивные проекты лежат в объектном хранилище и не занимают память. По словам авторов, BM25 вернулся, задержки и стоимость снизились, а эксплуатация стала проще.
- Изоляция для регулируемых клиентов — каждый namespace может лежать в своём bucket и шифроваться своим ключом. Часть нагрузок Legora работала без SSD-кэша, и производительность, по словам спикера, оставалась приемлемой.
- Запись в объектное хранилище и мало обращений — запись занимает сотни миллисекунд, зато чтение устроено на минимум обращений к хранилищу, около трёх. Векторный индекс построен как дерево кластеров: верхние уровни держатся в памяти, листья лежат на SSD.
Кому полезно: тем, кто строит поиск по большим корпусам документов с мультиарендностью и требованиями к раздельному хранению данных клиентов.
Статья по теме
Главы
Ещё доклады: Jacob Lauritzen
Страница спикера →Агентам нужно больше, чем чат
AI Engineer Europe 2026
Похожие доклады
Скрытые затраты на создание собственного RAG-стека
AI Engineer Summit 2025
Близко по содержанию
Бенчмаркинг семантического поиска по коду в Claude Code
AI Engineer Europe 2026
Близко по содержанию
От исходных документов к данным, готовым для ИИ
AI Engineer World's Fair 2026
Близко по содержанию
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Близко по содержанию


