· AI Engineer World's Fair 2026
Необычайная эффективность BM25 для агентного поиска
The unreasonable effectiveness of BM25 for agentic search — Jo Kristian Bergum, Hornet.dev
BM25 снова полезен в агентном поиске: агент сам пишет длинные запросы и уточняет их, а точное совпадение терминов делает результаты проверяемыми.
- Сила сместилась на пользователя — формула BM25 не менялась, но LLM знают сущности, даты и названия, пишут длинные запросы с операторами и переформулируют их. Именно это, по мнению спикера, делает лексический поиск сильнее в агентных сценариях.
- Узкое место — получение доказательств — на BrowseComp+ модели почти безошибочно отвечают, когда нужные документы даны им напрямую, а когда должны найти их сами через поиск, точность падает. Рассуждение, по словам спикера, здесь не главный барьер.
- Параметры BM25 для длинных документов — базовая линия BM25 в статье BrowseComp+ оказалась занижена из-за неподходящих параметров. Подбор параметров заметно меняет итоговую точность, поэтому сравнивать с BM25 без уточнения реализации нельзя.
- Найденное кладём в файлы — документы попадают в рабочую папку, модель видит заголовки и сниппеты, а полный текст открывает по необходимости и читает через grep и ripgrep. Спикер считает, что так объединяются лексический поиск и инструменты, на которых уже обучены модели для кодинга.
Кому полезно: тем, кто строит поиск для агентов и выбирает между BM25, embeddings и grep; часть доклада — презентация продукта Hornet, компании спикера.
Статья по теме
На какие вопросы отвечает доклад
Почему старая функция BM25 снова становится полезной для поиска агентов?
Сама функция не изменилась, изменился пользователь: LLM знают сущности и даты, пишут длинные точные запросы с операторами и переформулируют их, поэтому лексический поиск снова работает хорошо.
▶ 3:27Функция оценки не изменилась — стал мощнее пользователь поискаПочему агент плохо отвечает на сложные вопросы, когда ему нужно самому искать документы?
На BrowseComp+ при подаче нужных документов точность высокая, а когда модель ищет их через инструмент поиска, она падает. По словам спикера, узкое место — получение доказательств, а не рассуждение.
▶ 6:01Context window как дискеты, а retrieval доказательств — как узкое местоПочему BM25 выглядит слабым базовым методом в бенчмарках с длинными документами?
Параметры BM25, использованные в исходной статье BrowseComp+, плохо подходят для длинных документов. Более поздние исследования показывают, что выбор параметров заметно меняет итоговую точность.
▶ 9:52Какой BM25? Параметры и сравнение бенчмарков на длинных документахКогда лексический поиск BM25 лучше эмбеддингов для агентов?
BM25 точно находит имена, SKU и почтовые индексы, которые плохо кодируются эмбеддингами. Он дешевле эмбеддинг-инференса, а модель видит, почему документ попал в выдачу, и переформулирует запрос.
▶ 10:50Почему лексический retrieval помогает: точные совпадения, стоимость и объяснимостьКак дать агенту поиск по миллиардам веб-документов без перегрузки контекста?
Найденные документы кладут в рабочее пространство как файлы: модель видит заголовок и сниппет, открывает документ полностью при необходимости и использует grep, sed и awk. Так сочетаются retrieval, sandbox и bash.
▶ 12:21Расширение динамического рабочего пространства: найденные документы как файлыКак оценивать агента с поиском, если метрики nDCG для одного запроса перестали отражать качество?
Оценивать нужно выполненную задачу, например правильность итогового ответа, а не ранжирование одного запроса. Агент переформулирует запросы и делает много поисков, поэтому метрики одного запроса менее информативны.
▶ 14:53Оценка выполнения задачи агентом
Главы
Похожие доклады
Одних векторов недостаточно: гибридный поиск и извлечение данных
AI Engineer World's Fair 2026
Близко по содержанию
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026
Близко по содержанию
Grep или embeddings? Агентный поиск по корпоративным документам
Близко по содержанию
Хватит нарезать данные как в 2022 году
AI Engineer World's Fair 2026
Близко по содержанию

