· AI Engineer World's Fair 2024
RAG в масштабе: готовые к production GenAI-приложения с Azure AI Search
RAG at scale: production-ready GenAI apps with Azure AI Search
Масштабирование RAG упирается в retrieval, и, по словам автора, Azure AI Search закрывает его целиком: векторы, фильтры, reranking и инкрементальная загрузка данных.
- Бинарное квантование — по словам автора, для части моделей однобитные векторы сохраняют около 90–95 процентов исходного качества, а переход с float32 на один бит даёт в 32 раза большую плотность векторов; качество возвращают reranking по полной точности.
- Oversampling поверх сжатия — индекс хранит сжатые векторы для поиска и полноточные рядом, поэтому можно выбирать между размером индекса, скоростью и качеством.
- Двухстадийный поиск — первая стадия собирает кандидатов векторами и поиском по словам, вторая переранжирует их cross-encoder'ом примерно за 100 миллисекунд, а сужение набора метаданными, по словам автора, часто даёт больше, чем сложное ранжирование.
- Инкрементальная индексация — пайплайн подхватывает только изменённые документы из Blob Storage, OneLake или Cosmos DB, поэтому стоимость обновлений растёт вместе с изменениями, а не с объёмом данных.
Кому полезно: тем, кто выбирает retrieval-инфраструктуру для RAG на больших объёмах данных; доклад в основном рассказ о возможностях Azure AI Search, но приёмы квантования и двухстадийного поиска применимы и без него.
Статья по теме
Главы
Ещё доклады: Pablo Castro
Страница спикера →Об ИИ и знаниях
AI Engineer World's Fair 2026
Похожие доклады
Графы знаний и GraphRAG: методы создания эффективных GenAI-приложений
Michael Hunger, Andreas Kolleger, Tomasz, Zach Blumenthal
AI Engineer World's Fair 2024
Близко по содержанию
Современное состояние AI-поиска и извлечения информации
AI Engineer World's Fair 2025
Близко по содержанию
Оценка RAG не работает! Почему и как это исправить
AI Engineer World's Fair 2025
Близко по содержанию
Как довести RAG до production: поиск, оценка и анализ ошибок
AI Engineer Summit 2023
Близко по содержанию

