← Каталог

· AI Engineer World's Fair 2025

RAG в 2025 году: современное состояние и перспективы

RAG in 2025: State of the Art and the Road Forward

Для корпоративных данных RAG выгоднее fine-tuning и длинного контекста, а модели эмбеддингов, по словам спикера, со временем поглотят большую часть ручных приёмов RAG.

  • Сжатие векторов — Matryoshka learning позволяет взять первые 256 из 2048 измерений эмбеддинга с потерей около 1–2% качества. По словам спикера, при сжатии примерно в 100 раз теряется 5–10%, а доменная модель для кода сохраняет качество лучше общей.
  • Доменные эмбеддинги — отдельная модель для кода даёт лучший баланс между точностью и стоимостью хранения векторов, чем общая модель.
  • Контекст для чанков — добавление заголовков, авторов и дат к каждому фрагменту, а также генерация пояснения к чанку LLM, как в статье Anthropic, делают поиск точнее.
  • Мультимодальные эмбеддинги — PDF, слайды, таблицы и кадры видео можно индексировать как скриншоты, без отдельного извлечения текста и подписей к картинкам.

Кому полезно: тем, кто строит поиск по внутренним данным компании и выбирает между RAG, fine-tuning и длинным контекстом.

Статья по теме

На какие вопросы отвечает доклад

  • Когда RAG лучше fine-tuning и длинного контекста для корпоративных данных?

    RAG проще, надёжнее и дешевле в долгой перспективе. Fine-tuning плохо контролирует, что модель помнит и забывает, а длинный контекст оплачивается при каждом запросе.

    ▶ 1:15RAG в сравнении с fine-tuning и моделями с длинным контекстом
  • Как уменьшить стоимость хранения векторов в RAG без большой потери качества?

    Matryoshka learning позволяет взять первые 256 координат из 2048 с потерей 1–2% качества, квантизация снижает точность векторов. По словам спикера, сжатие в 10 раз почти не бьёт по качеству, при сжатии в 100 раз теряется 5–10%.

    ▶ 6:43Matryoshka learning и квантование для снижения затрат на хранение
  • Как повысить точность RAG, не меняя модель эмбеддингов?

    Гибридный поиск с реранкером, переписывание запроса и разбиение на подзапросы, добавление заголовков, дат и авторов в чанки. Спикер также описывает подход, где LLM генерирует пояснение к каждому чанку.

    ▶ 8:17Модели reranking, улучшение запросов и обогащение документов контекстом
  • Почему большие документы в RAG приходится резать на чанки вручную?

    Эмбеддинги ограничены контекстом около 32K токенов, а большой документ дорого отдавать LLM целиком. Анонсирован эмбеддинг, который сам режет документ на чанки и учитывает глобальный контекст остальных частей.

    ▶ 10:38Будущее RAG, управляемого моделями, и API для fine-tuning
  • Как искать по PDF, слайдам и видео без отдельного парсинга текста и картинок?

    Мультимодальный эмбеддинг принимает скриншоты страниц, слайдов, таблиц и кадров видео, поэтому извлекать текст и картинки отдельно не нужно. По словам спикера, качество растёт на документах, таблицах и тексте.

    ▶ 10:38Будущее RAG, управляемого моделями, и API для fine-tuning

Главы

Похожие доклады