Как посчитать и сократить расходы на ИИ-агентов?
Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.

Почему цена токена ничего не говорит
Прайс считают за миллион токенов, а платите вы за решённую задачу. Между этими числами стоит то, сколько токенов модель сожжёт по дороге и сколько раз задачу придётся перезапускать. В Vals AI сравнили две модели Anthropic на налоговом бенчмарке. Opus 5.5 по прайсу дешевле Fable 5.1: 4 и 20 долларов за миллион входных и выходных токенов против 10 и 50. На задаче он всё равно обошёлся дороже и набрал на 3% меньше, потому что слабая модель тратит больше токенов, пока пытается справиться.
Перезапуски считаются так же. В Anthropic сравнивали стратегии агента на финансовом бенчмарке, где засчитывается только полностью верный ответ. Если прогон стоит 600 тысяч токенов, а для верного ответа нужно в среднем три прогона, один верный ответ обходится в 1,8 миллиона токенов. Маленькие модели на незнакомых задачах ещё и чаще уходят в длинные циклы вызовов инструментов, об этом на панели про роутинг говорил Alex Atallah из OpenRouter.
«Потому что менее умная модель тратит больше токенов, пытаясь сделать работу. И в итоге набирает на 3% меньше.»
that's because the less intelligent model is trying to expend more tokens to try and get its work done. But this actually bears out as a 3% lower score.
«Если каждый прогон стоит 600 тысяч токенов, запускать придётся примерно три раза. В среднем стратегия execute потратит 1,8 миллиона токенов.»
So if you spend 600,000 tokens in each individual run, you have to run approximately three times. You can expect on average to have to spend 1.8 million tokens with the execution strategy
Сначала разберитесь, кто тратит
Пока неизвестно, какой агент и какая задача съели бюджет, оптимизировать нечего. Featherless AI продаёт инференс, и 30-40% её клиентов приходят с одним общим ключом на всю компанию. Минимум здесь - отдельный ключ на команду или сервис. Лучше относить каждый вызов модели к запуску агента, пользователю и задаче.
На каждом ходе агента полезно записывать входные и выходные токены, долю из кэша, стоимость, время до первого токена и число вызовов инструментов. Такой лог ведут в Towards AI для своего AI-тьютора, и он показал команде, что её собственные настройки по умолчанию дороже самого простого варианта.
Eugene Cheah из Featherless предлагает понятный порог. Если вы тратите меньше 10 тысяч долларов в месяц, полезнее искать, где агенты приносят результат, чем экономить токены. Цифру он сам называет условной.
«У 30-40% клиентов, которые к нам приходят, сначала был один общий ключ, которым пользовалась вся компания.»
thirty, forty percent of our customers that reach out to us, the first thing they had was a single shared key that every o-one in the organization used.
Кэш даёт больше, чем выбор модели
В агентных сценариях почти весь счёт приходится на входные токены: по данным Featherless, выходных около одного процента. Каждый ход агент заново отправляет историю. Если её начало не меняется, провайдер берёт эту часть из кэша, а в Towards AI говорят о скидке порядка 90%.
Отсюда вывод, который сначала кажется странным. У Towards AI на DeepSeek V4 Flash дешевле всего обошлась схема, которая отправляла больше всего токенов. Это была полная история без сжатия, и 97% её токенов попадали в кэш. Суммаризация и compaction переписывают начало контекста и ломают кэш. Walden Yan из Cognition оценивает такой промах в десятикратную цену входных токенов. Качество при этом тоже падает: со сжатой историей тьютор вспоминал нужную деталь в 32% случаев, с полной в 95%. Правило команды - не сжимать по умолчанию и включать compaction только после 30 тысяч токенов.
Кэш теряют и другими способами:
- Меняют начало промпта. Alvin Pane из OutRival называет порядок частей промпта под кэш самым простым способом снизить стоимость задачи: постоянное идёт первым, изменяемое в конце.
- Переключают модель на каждом ходе. У каждой модели свой кэш, поэтому Cheah советует ограничить автоматический роутинг двумя-тремя моделями.
- Чистят вывод инструментов. Тогда агент заново ищет то, что уже знал, и платит за это второй раз.
«Вариант с полной историей отправлял больше всего токенов, но всё равно давал лучший результат, потому что 97% токенов брались из кэша.»
So the full history, you know, setup that we had was sending the most tokens, but, we were still getting the best results out of it because ninety-seven percent of the tokens that we had were cached.
«Когда вы сжимаете контекст, вы промахиваетесь мимо кэша и платите за эти входные токены в десять раз больше, чем без сжатия.»
when you compact, you're taking a cache miss, so you're actually now like paying 10 times as much for the, for those input tokens than if you didn't compact.
«Главный вывод: не сжимайте контекст по умолчанию.»
So the main thing to take away is that, do not compact by default.
Модель под задачу, по замерам
Дорогая модель по умолчанию тоже сжигает деньги. На той же панели вспоминали, что больше всего денег на задачах классификации в OpenRouter уходит на Opus. Модель стоит подбирать под тип задачи, и подбирать замерами.
Rayan Krishnan из Vals AI предлагает прогнать прошлые задачи заново: взять закрытые pull request и отдать те же задачи агентам на разных моделях. По его словам, после рекомендаций по модели для каждого типа задач расходы упали примерно на 90% при том же результате.
В таком сравнении легко обмануться. Pane проверял дешёвую модель против продакшен-модели, ответы не совпали в 18% случаев, и кандидата забраковали. Потом продакшен-модель трижды прогнали на тех же входах, и она разошлась сама с собой в 7%. Часть разницы оказалась шумом. Средняя оценка к тому же прячет провал на отдельном типе запросов, поэтому результат смотрят по каждому типу.
Есть и человеческая сторона. Cheah замечает, что никто не меняет модель, чтобы сэкономить деньги компании. Дешёвая модель должна быть быстрее и стоять по умолчанию, а командам он советует выдавать модели под ярлыками вместо названий, чтобы менять их незаметно. Скорость тоже стоит денег: по его оценке, вдвое быстрее значит втрое дороже, и фоновые задачи нет смысла гнать на максимальной скорости.
«Оказалось, что она расходилась сама с собой примерно в 7% случаев.»
We discovered that it disagreed with itself roughly seven percent of the time.
«Это заметно снижает расходы. Кажется, мы тратим на 90% меньше и получаем тот же результат.»
And this is able to drive the cost down considerably. I think we're spending 90% less, but still able to get the same output.
«Никто на самом деле не переключает модель, чтобы сэкономить деньги компании.»
nobody really switches their model to save the company money.
Ограничьте агента до того, как он потратит бюджет
Агент в цикле может вызывать инструмент без конца. Erik Hanchett из AWS советует всегда задавать максимум итераций, а большие ответы инструментов сохранять отдельно и передавать модели выжимку.
Лимит на один запрос к модели здесь мало помогает, дорогим бывает весь запуск. Susheem Koul и Tisha Chawla считают бюджет на запуск агента и следят за двумя числами: сколько потрачено и с какой скоростью. Когда бюджет подходит к концу, агенту сначала подсказывают отвечать короче, а жёсткая остановка остаётся последней мерой. Новое правило они сначала включают в режиме предпросмотра, где политика считает, но ничего не останавливает.
Сами ограничения должны жить в инфраструктуре. Sachin Malhotra из Anthropic рассказывает про лимиты на опасные действия агента, но вывод подходит и для денег: правило в промпте работает примерно в 80% случаев. А если агент сам сообщает, от чьего имени он работает, он может сменить заголовок и получить свежий бюджет.
«Всегда задавайте максимальное число итераций цикла.»
So always set a max iterations of how many times it will loop.
«Остановка по лимиту бюджета должна быть только крайней мерой.»
as the last resort only a like a halting or a should happen from a budget cap.
«Текст может направить намерение, но ничего не заставляет его соблюдать.»
text can shape the intent but there is no enforcement anywhere.
Сколько можно сэкономить
Цифры в докладах большие, но почти все от тех, кто продаёт решение:
- Towards AI считает, что при тысяче студентов тьютор на Gemini стоил бы около 40 тысяч долларов в месяц, а на DeepSeek около 1,9 тысячи.
- Vals AI снизила расходы примерно на 90% после подбора модели по задачам.
- Клиент Featherless из телекома, по словам Cheah, сократил счёт с 250 до 7,6 тысячи долларов в месяц после перехода на их инференс.
- Инструмент Koul и Chawla снизил средние расходы на 78% на агентах browser-use и MetaGPT.
- Cognition обещает минус 40%, когда сильная модель планирует, а код пишет дешёвая.
Насколько этому можно верить
Почти все цифры получены на продуктах и бенчмарках самих докладчиков, независимых расчётов среди них нет. Towards AI мерили на диалогах в 11-13 ходов по одному-двум прогонам и сами предупреждают, что точность невелика. В одном доклады спорят: Featherless и Cast AI экономят на открытых моделях, а Krishnan считает, что самостоятельный хостинг Kimi у них вышел дороже GPT. Совпадает у всех другое: экономию считают по стоимости готового результата, и цена токена в этом расчёте только одно из слагаемых.


