← Каталог

· AI Engineer World's Fair 2026

Ваш AI agent тратит токены впустую, а вы этого не знаете

Your Agent Is Wasting Tokens and You Don't Know It

Расходы токенов агента можно срезать пятью приёмами: кэшем промпта, маршрутизацией задач между моделями, выносом больших результатов инструментов, лимитом циклов вызовов и обрезкой истории.

  • Кэш системного промпта — параметр cache_prompt в Strands Agents отправляет полный промпт только при первом вызове, а дальше уходит сильно урезанная версия; по словам спикера, кэшировать можно и описания инструментов.
  • Маршрутизация по сложности — простые задачи идут на Claude Haiku, сложные на Claude Sonnet, а выбирать модель можно даже отдельной дешёвой моделью. Вывод спикера: не использовать самую дорогую модель для всех задач.
  • Вынос больших результатов инструментов — крупный ответ инструмента сохраняется локально или в облаке, а в контекст попадает краткое резюме, поэтому он не повторяется на каждом шаге цикла агента.
  • Скользящее окно истории — Sliding Window Conversation Manager отправляет только последние сообщения (число настраивается), а потерю начала диалога спикер предлагает компенсировать суммаризацией.

Кому полезно: тем, кто выводит агентов в продакшен и видит быстрый рост счетов за токены.

Доклад цитируется в статьях

Главы

Ещё доклады: Erik Hanchett

Страница спикера →

Похожие доклады