· AI Engineer World's Fair 2025
Основы информационного поиска
Information Retrieval from the Ground Up
Векторный поиск не заменяет keyword-поиск: для RAG нужен гибрид, а качество keyword-поиска задаётся анализом текста при индексации.
- Анализ текста при индексации — токенизация, стоп-слова и стемминг определяют, какие токены попадут в индекс. По словам спикера, неподходящий языковой анализатор даёт мусор, а смешение языков в одном поле ломает статистику частот, поэтому языки стоит разносить по полям или индексам.
- n-grams и edge n-grams — n-grams помогают находить составные слова и части слов, но сильно раздувают индекс и стоимость запроса. Edge n-gram, который берёт только начало слова, заметно сокращает число токенов.
- Оценки не переводятся в проценты — BM25 даёт порядок результатов только внутри одного запроса, и значения меняются при добавлении документов. Порог отсечения для dense и learned sparse моделей задать сложнее, чем для keyword-поиска.
- Гибрид через RRF — слияние рангов объединяет выдачу по позициям, а не по оценкам. Reranker в retriever API пересчитывает топ-кандидатов; спикер советует держать устойчивый набор оценочных запросов, потому что он встречается редко.
Кому полезно: тем, кто строит RAG на Elasticsearch или Lucene и хочет понять, где работает keyword-поиск, где нужен вектор, а где гибрид.
Статья по теме
Главы
Ещё доклады: Philipp Krenn
Страница спикера →Бенчмаркинг vector search
AI Engineer World's Fair 2025
Похожие доклады
VoiceVision RAG: визуальный поиск по документам с голосовыми ответами
AI Engineer World's Fair 2025
Близко по содержанию
За пределами RAG: реляционный context engine сокращает расход токенов
AI Engineer World's Fair 2026
Близко по содержанию
RAG в реальных условиях
AI Engineer Summit 2023
Близко по содержанию

