← Каталог

· AI Engineer World's Fair 2026

Как мы сократили расход токенов AI-инструментов для программирования на 94% с помощью локального индекса кода

We Cut 94% of Our AI Coding Tokens With a Local Code Index. Here's the Architecture.

Стоимость AI-кодинга в основном задаёт входной контекст: локальный индекс кода, отдающий модели только нужные фрагменты, по словам авторов, сокращает его на 94%.

  • Входной контекст важнее ответа модели — по расчёту авторов, около 90% стоимости приходится на входные токены, поэтому сжатие вывода на 75% даёт около 8% экономии, а сокращение входа на 94% даёт около 61%.
  • Два поиска вместо одного — семантический поиск и поиск по точным словам вместе пропускают примерно одну из десяти релевантных находок, против одной из четырёх у каждого в отдельности. Фрагменты режутся по функциям и классам, а порог отсечки считается простой формулой за 0,4 мс без вызова LLM.
  • Бенчмарк на FastAPI — на 20 вопросах по 53 файлам токенов на вопрос стало 4,9 тыс. вместо 83 тыс., при этом нужный код находился примерно в 90% случаев. Базой служило чтение полных файлов, поэтому реальная экономия с инструментами вроде Claude Code, по словам авторов, ниже.
  • Общий индекс для всех инструментов — Claude Code, Cursor и Copilot работают с одним индексом и общей памятью проекта, и кодовую базу не нужно объяснять каждому заново. На реальном проекте за 247 запросов сэкономлено 12,4 млн токенов, из них 84% дал поисковый слой.

Кому полезно: тем, кто считает расходы на AI-кодинг в команде и хочет понять, сколько контекста уходит в модель без пользы.

Статья по теме

Главы

Похожие доклады