· AI Engineer World's Fair 2025
RAG в 2025 году: современное состояние и перспективы
RAG in 2025: State of the Art and the Road Forward
Для корпоративных данных RAG выгоднее fine-tuning и длинного контекста, а модели эмбеддингов, по словам спикера, со временем поглотят большую часть ручных приёмов RAG.
- Сжатие векторов — Matryoshka learning позволяет взять первые 256 из 2048 измерений эмбеддинга с потерей около 1–2% качества. По словам спикера, при сжатии примерно в 100 раз теряется 5–10%, а доменная модель для кода сохраняет качество лучше общей.
- Доменные эмбеддинги — отдельная модель для кода даёт лучший баланс между точностью и стоимостью хранения векторов, чем общая модель.
- Контекст для чанков — добавление заголовков, авторов и дат к каждому фрагменту, а также генерация пояснения к чанку LLM, как в статье Anthropic, делают поиск точнее.
- Мультимодальные эмбеддинги — PDF, слайды, таблицы и кадры видео можно индексировать как скриншоты, без отдельного извлечения текста и подписей к картинкам.
Кому полезно: тем, кто строит поиск по внутренним данным компании и выбирает между RAG, fine-tuning и длинным контекстом.
Статья по теме
На какие вопросы отвечает доклад
Когда RAG лучше fine-tuning и длинного контекста для корпоративных данных?
RAG проще, надёжнее и дешевле в долгой перспективе. Fine-tuning плохо контролирует, что модель помнит и забывает, а длинный контекст оплачивается при каждом запросе.
▶ 1:15RAG в сравнении с fine-tuning и моделями с длинным контекстомКак уменьшить стоимость хранения векторов в RAG без большой потери качества?
Matryoshka learning позволяет взять первые 256 координат из 2048 с потерей 1–2% качества, квантизация снижает точность векторов. По словам спикера, сжатие в 10 раз почти не бьёт по качеству, при сжатии в 100 раз теряется 5–10%.
▶ 6:43Matryoshka learning и квантование для снижения затрат на хранениеКак повысить точность RAG, не меняя модель эмбеддингов?
Гибридный поиск с реранкером, переписывание запроса и разбиение на подзапросы, добавление заголовков, дат и авторов в чанки. Спикер также описывает подход, где LLM генерирует пояснение к каждому чанку.
▶ 8:17Модели reranking, улучшение запросов и обогащение документов контекстомПочему большие документы в RAG приходится резать на чанки вручную?
Эмбеддинги ограничены контекстом около 32K токенов, а большой документ дорого отдавать LLM целиком. Анонсирован эмбеддинг, который сам режет документ на чанки и учитывает глобальный контекст остальных частей.
▶ 10:38Будущее RAG, управляемого моделями, и API для fine-tuningКак искать по PDF, слайдам и видео без отдельного парсинга текста и картинок?
Мультимодальный эмбеддинг принимает скриншоты страниц, слайдов, таблиц и кадров видео, поэтому извлекать текст и картинки отдельно не нужно. По словам спикера, качество растёт на документах, таблицах и тексте.
▶ 10:38Будущее RAG, управляемого моделями, и API для fine-tuning
Главы
Похожие доклады
Как довести RAG до production: поиск, оценка и анализ ошибок
AI Engineer Summit 2023
Близко по содержанию
За пределами RAG: реляционный context engine сокращает расход токенов
AI Engineer World's Fair 2026
Близко по содержанию
Создание более умного AI-агента с Neural RAG
AI Engineer World's Fair 2025
Близко по содержанию
Маллет графа знаний: как упростить GraphRAG
AI Engineer World's Fair 2025
Близко по содержанию

