← Каталог

Agentic-поиск против vector search для coding agents: мы провели eval

Agentic Search vs Vector Search for Coding Agents: We Ran the Eval — Braintrust

На 20 багфиксах в typescript-go агентный поиск по коду, по словам автора, дал ту же точность, что и векторный, при стоимости в четыре раза ниже.

  • Датасет из мёрженных фиксов — брали merged PR с fix в заголовке, откатывали код к родительскому коммиту с багом, а описание задачи генерировали по диффу. Оценка бинарная: проходят ли тесты репозитория.
  • Сравнение в одном harness — запрет в промпте не сработал, поэтому векторный вариант в Claude Code ограничили флагом disallowed tools. Трассировки подпроцессов связали через parent span ID в переменных окружения, иначе внутри них не было видно ничего.
  • Почему чанки проигрывают — фрагменты кода часто без импортов и вызывающего кода. В одном прогоне векторный агент сделал 26 поисков и так и не связал три функции, а стоимость выросла из-за числа повторных запросов.
  • Ограничения — слабая векторная реализация, 20 задач и один прогон без повторов. Автор прямо говорит, что это демонстрация сквозного eval, а не рейтинг методов поиска.

Кому полезно: тем, кто выбирает между векторным и агентным поиском по коду для coding агентов.

Статья по теме

На какие вопросы отвечает доклад

  • Что выигрывает для coding агентов: агентный поиск или векторный поиск по коду?

    Точность у обоих вариантов оказалась одинаковой, но векторный поиск обошёлся примерно в четыре раза дороже. Эксперимент шёл на примерно 20 задачах с багами, по словам авторов, вывод ограничен малым датасетом.

    ▶ 14:42Скоринг тестового набора и результаты поиска
  • Почему векторный поиск по коду делает много запросов и не связывает функции между собой?

    Чанки кода часто не содержат импортов, вызывающего кода и зависимостей, поэтому агент повторяет поиск. В одном прогоне было 26 запросов, но взаимодействие трёх функций так и не было понято.

    ▶ 14:42Скоринг тестового набора и результаты поиска
  • Как собрать датасет для оценки агента, который исправляет баги, из истории репозитория?

    Берут смёрженные PR с fix в заголовке, откатывают код к родительскому коммиту с багом и генерируют описание задачи по диффу через Claude. Так получили около 20 задач на typescript-go.

    ▶ 11:12Создание задач с багами на основе объединённых pull request с исправлениями
  • Как запретить Claude Code использовать встроенный агентный поиск, чтобы проверить векторный поиск?

    Одного указания в промпте недостаточно, поэтому дополнительно задают флаг disallowed tools, который блокирует вызовы инструментов агентного поиска. Так сохраняется тот же харнес для обоих условий.

    ▶ 12:12Управление инструментами поиска в Claude Code
  • Как связать трейсы подпроцессов Claude Code с родительским трейсом, чтобы видеть их содержимое?

    Родительские span ID передают через переменные окружения. После этого в трейсе видны все ходы, вызовы LLM и терминальные команды подпроцесса, а не только строка о его запуске.

    ▶ 13:12Связывание трасс подпроцессов
  • Как оценивать агента, который чинит баг, бинарно и без ручной проверки каждого ответа?

    Задаче ставят 100%, если проходит тестовый набор репозитория, и 0%, если нет. По словам автора, такой подход прост, а для надёжных выводов нужны повторные запуски и больше задач.

    ▶ 14:42Скоринг тестового набора и результаты поиска

Главы

Похожие доклады