· AI Engineer World's Fair 2026
Как мы сократили расход токенов AI-инструментов для программирования на 94% с помощью локального индекса кода
We Cut 94% of Our AI Coding Tokens With a Local Code Index. Here's the Architecture.
Стоимость AI-кодинга в основном задаёт входной контекст: локальный индекс кода, отдающий модели только нужные фрагменты, по словам авторов, сокращает его на 94%.
- Входной контекст важнее ответа модели — по расчёту авторов, около 90% стоимости приходится на входные токены, поэтому сжатие вывода на 75% даёт около 8% экономии, а сокращение входа на 94% даёт около 61%.
- Два поиска вместо одного — семантический поиск и поиск по точным словам вместе пропускают примерно одну из десяти релевантных находок, против одной из четырёх у каждого в отдельности. Фрагменты режутся по функциям и классам, а порог отсечки считается простой формулой за 0,4 мс без вызова LLM.
- Бенчмарк на FastAPI — на 20 вопросах по 53 файлам токенов на вопрос стало 4,9 тыс. вместо 83 тыс., при этом нужный код находился примерно в 90% случаев. Базой служило чтение полных файлов, поэтому реальная экономия с инструментами вроде Claude Code, по словам авторов, ниже.
- Общий индекс для всех инструментов — Claude Code, Cursor и Copilot работают с одним индексом и общей памятью проекта, и кодовую базу не нужно объяснять каждому заново. На реальном проекте за 247 запросов сэкономлено 12,4 млн токенов, из них 84% дал поисковый слой.
Кому полезно: тем, кто считает расходы на AI-кодинг в команде и хочет понять, сколько контекста уходит в модель без пользы.
Статья по теме
Главы
Похожие доклады
За пределами RAG: реляционный context engine сокращает расход токенов
AI Engineer World's Fair 2026
Близко по содержанию
Создание агентов, которые пишут собственный код
AI Engineer Summit 2025
Близко по содержанию
Context engineering для сложных кодовых баз: исследование, планирование, реализация
AI Engineer Code 2025
Близко по содержанию
Как обойти ограничения embeddings для агентов
AI Engineer World's Fair 2024
Близко по содержанию

