← Каталог

· AI Engineer Summit 2023

RAG в реальных условиях

Retrieval Augmented Generation in the Wild

RAG в продакшене требует больше, чем векторного поиска: память должна учитывать обратную связь и обновляться самим агентом, а система должна отсекать нерелевантные результаты.

  • Нерелевантные результаты — по словам автора, дистракторы в контексте резко снижают качество всего приложения. Если запрос про рыб, а в базе только статьи о птицах, поиск всё равно вернёт пять соседей, и ни один из них не будет релевантным, поэтому нужен отдельный сигнал релевантности.
  • Выбор embedding модели — публичные бенчмарки, по словам автора, уже насыщены и синтетические, поэтому он предлагает строить собственный датасет из продакшен-запросов. Эмбеддинги моделей с похожей целью обучения, по его утверждению, связаны аффинным линейным преобразованием, так что одно пространство можно перевести в другое линейной проекцией, подобранной на своих данных.
  • Чанкинг по перплексии — экспериментальная идея: маленькая open source языковая модель предсказывает следующий токен, и всплески ошибки отмечают семантические границы. Такую модель можно дообучить под свои границы чанков.
  • Память агента — в Voyager навыки в Minецraft сохраняются и извлекаются из векторного хранилища Chroma, часть сложных навыков получена из демонстраций человека. Вывод автора: память агента должна обновляться по его взаимодействию с окружением.

Кому полезно: тем, кто подбирает эмбеддинги и чанкинг под свои данные или строит память для агентов.

Статья по теме

Главы

Похожие доклады