← Каталог

· AI Engineer World's Fair 2026

Необычайная эффективность BM25 для агентного поиска

The unreasonable effectiveness of BM25 for agentic search — Jo Kristian Bergum, Hornet.dev

BM25 снова полезен в агентном поиске: агент сам пишет длинные запросы и уточняет их, а точное совпадение терминов делает результаты проверяемыми.

  • Сила сместилась на пользователя — формула BM25 не менялась, но LLM знают сущности, даты и названия, пишут длинные запросы с операторами и переформулируют их. Именно это, по мнению спикера, делает лексический поиск сильнее в агентных сценариях.
  • Узкое место — получение доказательств — на BrowseComp+ модели почти безошибочно отвечают, когда нужные документы даны им напрямую, а когда должны найти их сами через поиск, точность падает. Рассуждение, по словам спикера, здесь не главный барьер.
  • Параметры BM25 для длинных документов — базовая линия BM25 в статье BrowseComp+ оказалась занижена из-за неподходящих параметров. Подбор параметров заметно меняет итоговую точность, поэтому сравнивать с BM25 без уточнения реализации нельзя.
  • Найденное кладём в файлы — документы попадают в рабочую папку, модель видит заголовки и сниппеты, а полный текст открывает по необходимости и читает через grep и ripgrep. Спикер считает, что так объединяются лексический поиск и инструменты, на которых уже обучены модели для кодинга.

Кому полезно: тем, кто строит поиск для агентов и выбирает между BM25, embeddings и grep; часть доклада — презентация продукта Hornet, компании спикера.

Статья по теме

На какие вопросы отвечает доклад

  • Почему старая функция BM25 снова становится полезной для поиска агентов?

    Сама функция не изменилась, изменился пользователь: LLM знают сущности и даты, пишут длинные точные запросы с операторами и переформулируют их, поэтому лексический поиск снова работает хорошо.

    ▶ 3:27Функция оценки не изменилась — стал мощнее пользователь поиска
  • Почему агент плохо отвечает на сложные вопросы, когда ему нужно самому искать документы?

    На BrowseComp+ при подаче нужных документов точность высокая, а когда модель ищет их через инструмент поиска, она падает. По словам спикера, узкое место — получение доказательств, а не рассуждение.

    ▶ 6:01Context window как дискеты, а retrieval доказательств — как узкое место
  • Почему BM25 выглядит слабым базовым методом в бенчмарках с длинными документами?

    Параметры BM25, использованные в исходной статье BrowseComp+, плохо подходят для длинных документов. Более поздние исследования показывают, что выбор параметров заметно меняет итоговую точность.

    ▶ 9:52Какой BM25? Параметры и сравнение бенчмарков на длинных документах
  • Когда лексический поиск BM25 лучше эмбеддингов для агентов?

    BM25 точно находит имена, SKU и почтовые индексы, которые плохо кодируются эмбеддингами. Он дешевле эмбеддинг-инференса, а модель видит, почему документ попал в выдачу, и переформулирует запрос.

    ▶ 10:50Почему лексический retrieval помогает: точные совпадения, стоимость и объяснимость
  • Как дать агенту поиск по миллиардам веб-документов без перегрузки контекста?

    Найденные документы кладут в рабочее пространство как файлы: модель видит заголовок и сниппет, открывает документ полностью при необходимости и использует grep, sed и awk. Так сочетаются retrieval, sandbox и bash.

    ▶ 12:21Расширение динамического рабочего пространства: найденные документы как файлы
  • Как оценивать агента с поиском, если метрики nDCG для одного запроса перестали отражать качество?

    Оценивать нужно выполненную задачу, например правильность итогового ответа, а не ранжирование одного запроса. Агент переформулирует запросы и делает много поисков, поэтому метрики одного запроса менее информативны.

    ▶ 14:53Оценка выполнения задачи агентом

Главы

Похожие доклады