← Каталог

· AI Engineer World's Fair 2025

Масштабирование корпоративных RAG-систем: опыт в юридической сфере

Scaling Enterprise-Grade RAG Systems: Lessons from the Legal Frontier

В юридическом RAG на десятках миллионов документов главное — систематическая оценка качества, а хранилище должно держать embeddings, файлы и таблицы вместе.

  • Оценка на нескольких уровнях — экспертная проверка ответов юристами даёт высокое качество, но дорогая. Разметка критериев экспертами и автоматические метрики, например precision и recall по поиску, позволяют быстро итерировать.
  • Масштабы и изоляция — корпуса законодательства и судебной практики доходят до десятков миллионов документов. Данные каждого клиента хранятся отдельно, а часть документов можно держать только определённый срок по юридическим требованиям.
  • Lance format — открытый формат, который, по словам авторов, сочетает быстрый произвольный доступ для поиска с быстрыми сканами для аналитики и обучения и хорошо хранит большие бинарные объекты рядом с мелкими полями. Значительная часть доклада — презентация LanceDB, но сама схема «всё в одной таблице» разобрана подробно.
  • Индексация на GPU — по словам авторов, таблица с 3–4 миллиардами векторов индексируется за два–три часа. Разделение compute и storage с данными на object store, по их словам, снижает стоимость.

Кому полезно: тем, кто строит RAG по большим доменным корпусам с требованиями к изоляции клиентов и срокам хранения.

Статья по теме

Главы

Ещё доклады: Chang She

Страница спикера →

Похожие доклады