· AI Engineer World's Fair 2025
Масштабирование корпоративных RAG-систем: опыт в юридической сфере
Scaling Enterprise-Grade RAG Systems: Lessons from the Legal Frontier
В юридическом RAG на десятках миллионов документов главное — систематическая оценка качества, а хранилище должно держать embeddings, файлы и таблицы вместе.
- Оценка на нескольких уровнях — экспертная проверка ответов юристами даёт высокое качество, но дорогая. Разметка критериев экспертами и автоматические метрики, например precision и recall по поиску, позволяют быстро итерировать.
- Масштабы и изоляция — корпуса законодательства и судебной практики доходят до десятков миллионов документов. Данные каждого клиента хранятся отдельно, а часть документов можно держать только определённый срок по юридическим требованиям.
- Lance format — открытый формат, который, по словам авторов, сочетает быстрый произвольный доступ для поиска с быстрыми сканами для аналитики и обучения и хорошо хранит большие бинарные объекты рядом с мелкими полями. Значительная часть доклада — презентация LanceDB, но сама схема «всё в одной таблице» разобрана подробно.
- Индексация на GPU — по словам авторов, таблица с 3–4 миллиардами векторов индексируется за два–три часа. Разделение compute и storage с данными на object store, по их словам, снижает стоимость.
Кому полезно: тем, кто строит RAG по большим доменным корпусам с требованиями к изоляции клиентов и срокам хранения.
Статья по теме
Главы
Ещё доклады: Chang She
Страница спикера →Иерархия потребностей при разработке обучающих датасетов
AI Engineer World's Fair 2024
Похожие доклады
Скрытые затраты на создание собственного RAG-стека
AI Engineer Summit 2025
Близко по содержанию
Когда векторы не справляются: графовый RAG для насыщенных корпоративных знаний
AI Engineer World's Fair 2025
Близко по содержанию
За пределами RAG: создаём реляционный движок контекста с нуля
AI Engineer World's Fair 2026
Близко по содержанию
Оценка RAG не работает! Почему и как это исправить
AI Engineer World's Fair 2025
Близко по содержанию


