← Каталог

· AI Engineer Summit 2025

Скрытые затраты на создание собственного RAG-стека

The Hidden Costs of Building Your Own RAG Stack — Ofer Mendelevitch, Vectara

Собственный RAG-стек в продакшене обрастает скрытыми расходами на качество, задержки, безопасность и штат, и управляемая платформа, по словам автора, снимает большую часть из них.

  • Галлюцинации нужно измерять отдельно — в Vectara к каждому ответу добавляют оценку галлюцинаций через открытую модель HHEM, по словам автора, у неё больше трёх миллионов скачиваний на Hugging Face. Автор также советует выбирать LLM с учётом частоты галлюцинаций, которую Vectara измеряет в своём лидерборде.
  • Права доступа внутри RAG — атрибутный контроль доступа нужно встраивать в сам поток извлечения, иначе документы, видимые только HR или руководству, могут утечь в ответ модели.
  • Задержки складываются по цепочке — hybrid search и реранкеры добавляют время к каждому шагу, а итоговая задержка определяется самым медленным компонентом.
  • Расходы на команду и вендоров — каждый компонент, от парсинга и embedding до LLM, требует отдельной экспертизы, а несколько поставщиков усложняют диагностику сбоев и поддержку.

Кому полезно: тем, кто выбирает между собственным RAG-стеком и готовым сервисом для корпоративных данных. Доклад по сути презентация Vectara, но список рисков применим и без неё.

Статья по теме

Главы

Ещё доклады: Ofer Mendelevitch

Страница спикера →

Похожие доклады