RAG в реальных условиях
Retrieval Augmented Generation in the Wild
RAG в продакшене требует больше, чем векторного поиска: память должна учитывать обратную связь и обновляться самим агентом, а система должна отсекать нерелевантные результаты.
- Нерелевантные результаты — по словам автора, дистракторы в контексте резко снижают качество всего приложения. Если запрос про рыб, а в базе только статьи о птицах, поиск всё равно вернёт пять соседей, и ни один из них не будет релевантным, поэтому нужен отдельный сигнал релевантности.
- Выбор embedding модели — публичные бенчмарки, по словам автора, уже насыщены и синтетические, поэтому он предлагает строить собственный датасет из продакшен-запросов. Эмбеддинги моделей с похожей целью обучения, по его утверждению, связаны аффинным линейным преобразованием, так что одно пространство можно перевести в другое линейной проекцией, подобранной на своих данных.
- Чанкинг по перплексии — экспериментальная идея: маленькая open source языковая модель предсказывает следующий токен, и всплески ошибки отмечают семантические границы. Такую модель можно дообучить под свои границы чанков.
- Память агента — в Voyager навыки в Minецraft сохраняются и извлекаются из векторного хранилища Chroma, часть сложных навыков получена из демонстраций человека. Вывод автора: память агента должна обновляться по его взаимодействию с окружением.
Кому полезно: тем, кто подбирает эмбеддинги и чанкинг под свои данные или строит память для агентов.
Статья по теме
Главы
Похожие доклады
Современное состояние AI-поиска и извлечения информации
AI Engineer World's Fair 2025
Близко по содержанию
От контекста к памяти: вашим agents нужен полноценный слой памяти
AI Engineer World's Fair 2026
Близко по содержанию
Скрытые затраты на создание собственного RAG-стека
AI Engineer Summit 2025
Близко по содержанию
Не используйте RAG как память
AI Engineer World's Fair 2025
Близко по содержанию

