Бенчмаркинг семантического поиска по коду в Claude Code
Benchmarking semantic code retrieval on Claude Code
Семантический поиск поверх grep в Claude Code поднимает точность чтения файлов с 65% до 87%, но почти не добавляет полноты (по словам автора).
- Embeddings как кэш вычислений — без индекса агент заново грепает и читает одни и те же файлы в каждой сессии и у каждого агента. Индекс с эмбеддингами переносит эту работу в одноразовую стоимость, и экономия растёт с числом параллельных агентов.
- Точность против полноты — на 50 задачах Context Bench базовый Claude Code читал много лишнего: по словам автора, каждый третий прочитанный файл был нерелевантен. С окнами по 50 строк и семантическим поиском доля лишних файлов упала примерно до одного из восьми, а полнота найденных нужных файлов при этом не выросла.
- Разные задачи — разные инструменты — семантический поиск находил файлы с похожим поведением без общих слов в коде, например реализации разных ORM. Grep выигрывал там, где задача сводилась к трассировке импортов и хватало точного имени из первых вызовов.
- Внешний инструмент против встроенного — Claude Code заточен под grep, и модель плохо понимает, когда звать дополнительный поиск. У Cursor семантический поиск встроен в модель Composer и, по словам автора, даёт заметно больший выигрыш.
Кому полезно: тем, кто подключает поиск по коду к кодинговым агентам и хочет проверить, даёт ли он выигрыш на их репозиториях.
Статья по теме
Главы
Похожие доклады
Современное состояние AI-поиска и извлечения информации
AI Engineer World's Fair 2025
Близко по содержанию
SWE-rebench: Уроки оценки coding agents на реальных задачах разработки ПО
AI Engineer Europe 2026
Близко по содержанию
За пределами RAG: реляционный context engine сокращает расход токенов
AI Engineer World's Fair 2026
Близко по содержанию
Постепенно добавляем все техники RAG — запрос за запросом
AI Engineer World's Fair 2025
Близко по содержанию

