Скрытые затраты на создание собственного RAG-стека
The Hidden Costs of Building Your Own RAG Stack — Ofer Mendelevitch, Vectara
Собственный RAG-стек в продакшене обрастает скрытыми расходами на качество, задержки, безопасность и штат, и управляемая платформа, по словам автора, снимает большую часть из них.
- Галлюцинации нужно измерять отдельно — в Vectara к каждому ответу добавляют оценку галлюцинаций через открытую модель HHEM, по словам автора, у неё больше трёх миллионов скачиваний на Hugging Face. Автор также советует выбирать LLM с учётом частоты галлюцинаций, которую Vectara измеряет в своём лидерборде.
- Права доступа внутри RAG — атрибутный контроль доступа нужно встраивать в сам поток извлечения, иначе документы, видимые только HR или руководству, могут утечь в ответ модели.
- Задержки складываются по цепочке — hybrid search и реранкеры добавляют время к каждому шагу, а итоговая задержка определяется самым медленным компонентом.
- Расходы на команду и вендоров — каждый компонент, от парсинга и embedding до LLM, требует отдельной экспертизы, а несколько поставщиков усложняют диагностику сбоев и поддержку.
Кому полезно: тем, кто выбирает между собственным RAG-стеком и готовым сервисом для корпоративных данных. Доклад по сути презентация Vectara, но список рисков применим и без неё.
Статья по теме
Главы
Ещё доклады: Ofer Mendelevitch
Страница спикера →open-rag-eval: оценка RAG без «эталонных» ответов
AI Engineer World's Fair 2025
Deep Research в корпоративной среде: новое главное приложение для корпоративного ИИ
AI Engineer Code 2025
Похожие доклады
За пределами RAG: реляционный context engine сокращает расход токенов
AI Engineer World's Fair 2026
Близко по содержанию
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
AI Engineer World's Fair 2024
Близко по содержанию
RAG в реальных условиях
AI Engineer Summit 2023
Близко по содержанию
