Agentic-поиск против vector search для coding agents: мы провели eval
Agentic Search vs Vector Search for Coding Agents: We Ran the Eval — Braintrust
На 20 багфиксах в typescript-go агентный поиск по коду, по словам автора, дал ту же точность, что и векторный, при стоимости в четыре раза ниже.
- Датасет из мёрженных фиксов — брали merged PR с
fixв заголовке, откатывали код к родительскому коммиту с багом, а описание задачи генерировали по диффу. Оценка бинарная: проходят ли тесты репозитория. - Сравнение в одном harness — запрет в промпте не сработал, поэтому векторный вариант в Claude Code ограничили флагом
disallowed tools. Трассировки подпроцессов связали черезparent span IDв переменных окружения, иначе внутри них не было видно ничего. - Почему чанки проигрывают — фрагменты кода часто без импортов и вызывающего кода. В одном прогоне векторный агент сделал 26 поисков и так и не связал три функции, а стоимость выросла из-за числа повторных запросов.
- Ограничения — слабая векторная реализация, 20 задач и один прогон без повторов. Автор прямо говорит, что это демонстрация сквозного eval, а не рейтинг методов поиска.
Кому полезно: тем, кто выбирает между векторным и агентным поиском по коду для coding агентов.
Статья по теме
На какие вопросы отвечает доклад
Что выигрывает для coding агентов: агентный поиск или векторный поиск по коду?
Точность у обоих вариантов оказалась одинаковой, но векторный поиск обошёлся примерно в четыре раза дороже. Эксперимент шёл на примерно 20 задачах с багами, по словам авторов, вывод ограничен малым датасетом.
▶ 14:42Скоринг тестового набора и результаты поискаПочему векторный поиск по коду делает много запросов и не связывает функции между собой?
Чанки кода часто не содержат импортов, вызывающего кода и зависимостей, поэтому агент повторяет поиск. В одном прогоне было 26 запросов, но взаимодействие трёх функций так и не было понято.
▶ 14:42Скоринг тестового набора и результаты поискаКак собрать датасет для оценки агента, который исправляет баги, из истории репозитория?
Берут смёрженные PR с fix в заголовке, откатывают код к родительскому коммиту с багом и генерируют описание задачи по диффу через Claude. Так получили около 20 задач на typescript-go.
▶ 11:12Создание задач с багами на основе объединённых pull request с исправлениямиКак запретить Claude Code использовать встроенный агентный поиск, чтобы проверить векторный поиск?
Одного указания в промпте недостаточно, поэтому дополнительно задают флаг disallowed tools, который блокирует вызовы инструментов агентного поиска. Так сохраняется тот же харнес для обоих условий.
▶ 12:12Управление инструментами поиска в Claude CodeКак связать трейсы подпроцессов Claude Code с родительским трейсом, чтобы видеть их содержимое?
Родительские span ID передают через переменные окружения. После этого в трейсе видны все ходы, вызовы LLM и терминальные команды подпроцесса, а не только строка о его запуске.
▶ 13:12Связывание трасс подпроцессовКак оценивать агента, который чинит баг, бинарно и без ручной проверки каждого ответа?
Задаче ставят 100%, если проходит тестовый набор репозитория, и 0%, если нет. По словам автора, такой подход прост, а для надёжных выводов нужны повторные запуски и больше задач.
▶ 14:42Скоринг тестового набора и результаты поиска
Главы
Похожие доклады
Одних векторов недостаточно: гибридный поиск и извлечение данных
AI Engineer World's Fair 2026
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Оптимизация RAG с помощью оценки
AI Engineer World's Fair 2024
Близко по содержанию
Продвинутый практикум по наблюдаемости AI
AI Engineer World's Fair 2026
Близко по содержанию

