← Каталог

· AI Engineer Europe 2026

Бенчмаркинг семантического поиска по коду в Claude Code

Benchmarking semantic code retrieval on Claude Code

Семантический поиск поверх grep в Claude Code поднимает точность чтения файлов с 65% до 87%, но почти не добавляет полноты (по словам автора).

  • Embeddings как кэш вычислений — без индекса агент заново грепает и читает одни и те же файлы в каждой сессии и у каждого агента. Индекс с эмбеддингами переносит эту работу в одноразовую стоимость, и экономия растёт с числом параллельных агентов.
  • Точность против полноты — на 50 задачах Context Bench базовый Claude Code читал много лишнего: по словам автора, каждый третий прочитанный файл был нерелевантен. С окнами по 50 строк и семантическим поиском доля лишних файлов упала примерно до одного из восьми, а полнота найденных нужных файлов при этом не выросла.
  • Разные задачи — разные инструменты — семантический поиск находил файлы с похожим поведением без общих слов в коде, например реализации разных ORM. Grep выигрывал там, где задача сводилась к трассировке импортов и хватало точного имени из первых вызовов.
  • Внешний инструмент против встроенного — Claude Code заточен под grep, и модель плохо понимает, когда звать дополнительный поиск. У Cursor семантический поиск встроен в модель Composer и, по словам автора, даёт заметно больший выигрыш.

Кому полезно: тем, кто подключает поиск по коду к кодинговым агентам и хочет проверить, даёт ли он выигрыш на их репозиториях.

Статья по теме

Главы

Похожие доклады