← Каталог

· AI Engineer World's Fair 2025

Основы информационного поиска

Information Retrieval from the Ground Up

Векторный поиск не заменяет keyword-поиск: для RAG нужен гибрид, а качество keyword-поиска задаётся анализом текста при индексации.

  • Анализ текста при индексации — токенизация, стоп-слова и стемминг определяют, какие токены попадут в индекс. По словам спикера, неподходящий языковой анализатор даёт мусор, а смешение языков в одном поле ломает статистику частот, поэтому языки стоит разносить по полям или индексам.
  • n-grams и edge n-grams — n-grams помогают находить составные слова и части слов, но сильно раздувают индекс и стоимость запроса. Edge n-gram, который берёт только начало слова, заметно сокращает число токенов.
  • Оценки не переводятся в проценты — BM25 даёт порядок результатов только внутри одного запроса, и значения меняются при добавлении документов. Порог отсечения для dense и learned sparse моделей задать сложнее, чем для keyword-поиска.
  • Гибрид через RRF — слияние рангов объединяет выдачу по позициям, а не по оценкам. Reranker в retriever API пересчитывает топ-кандидатов; спикер советует держать устойчивый набор оценочных запросов, потому что он встречается редко.

Кому полезно: тем, кто строит RAG на Elasticsearch или Lucene и хочет понять, где работает keyword-поиск, где нужен вектор, а где гибрид.

Статья по теме

Главы

Ещё доклады: Philipp Krenn

Страница спикера →

Похожие доклады