· AI Engineer World's Fair 2026
Ваш AI agent тратит токены впустую, а вы этого не знаете
Your Agent Is Wasting Tokens and You Don't Know It
Расходы токенов агента можно срезать пятью приёмами: кэшем промпта, маршрутизацией задач между моделями, выносом больших результатов инструментов, лимитом циклов вызовов и обрезкой истории.
- Кэш системного промпта — параметр
cache_promptв Strands Agents отправляет полный промпт только при первом вызове, а дальше уходит сильно урезанная версия; по словам спикера, кэшировать можно и описания инструментов. - Маршрутизация по сложности — простые задачи идут на Claude Haiku, сложные на Claude Sonnet, а выбирать модель можно даже отдельной дешёвой моделью. Вывод спикера: не использовать самую дорогую модель для всех задач.
- Вынос больших результатов инструментов — крупный ответ инструмента сохраняется локально или в облаке, а в контекст попадает краткое резюме, поэтому он не повторяется на каждом шаге цикла агента.
- Скользящее окно истории —
Sliding Window Conversation Managerотправляет только последние сообщения (число настраивается), а потерю начала диалога спикер предлагает компенсировать суммаризацией.
Кому полезно: тем, кто выводит агентов в продакшен и видит быстрый рост счетов за токены.
Доклад цитируется в статьях
Главы
Ещё доклады: Erik Hanchett
Страница спикера →Spec-driven-разработка для production-процессов
AI Engineer World's Fair 2026
Похожие доклады
Почему большие контекстные окна не спасут вашего агента
AI Engineer World's Fair 2026
Близко по содержанию
Хватит арендовать когнитивную инфраструктуру
AI Engineer World's Fair 2026
Близко по содержанию
Знакомство со Strands Agents — open-source SDK для AI-агентов
AI Engineer World's Fair 2025
Близко по содержанию
Агент со 100 инструментами — ловушка: масштабирование с помощью семантических маршрутизаторов и контекста по запросу
AI Engineer World's Fair 2026
Близко по содержанию

