← Каталог

· AI Engineer World's Fair 2024

RAG в масштабе: готовые к production GenAI-приложения с Azure AI Search

RAG at scale: production-ready GenAI apps with Azure AI Search

Масштабирование RAG упирается в retrieval, и, по словам автора, Azure AI Search закрывает его целиком: векторы, фильтры, reranking и инкрементальная загрузка данных.

  • Бинарное квантование — по словам автора, для части моделей однобитные векторы сохраняют около 90–95 процентов исходного качества, а переход с float32 на один бит даёт в 32 раза большую плотность векторов; качество возвращают reranking по полной точности.
  • Oversampling поверх сжатия — индекс хранит сжатые векторы для поиска и полноточные рядом, поэтому можно выбирать между размером индекса, скоростью и качеством.
  • Двухстадийный поиск — первая стадия собирает кандидатов векторами и поиском по словам, вторая переранжирует их cross-encoder'ом примерно за 100 миллисекунд, а сужение набора метаданными, по словам автора, часто даёт больше, чем сложное ранжирование.
  • Инкрементальная индексация — пайплайн подхватывает только изменённые документы из Blob Storage, OneLake или Cosmos DB, поэтому стоимость обновлений растёт вместе с изменениями, а не с объёмом данных.

Кому полезно: тем, кто выбирает retrieval-инфраструктуру для RAG на больших объёмах данных; доклад в основном рассказ о возможностях Azure AI Search, но приёмы квантования и двухстадийного поиска применимы и без него.

Статья по теме

Главы

Ещё доклады: Pablo Castro

Страница спикера →

Похожие доклады