← Каталог

· AI Engineer World's Fair 2026

FinOps для AI-агентов: кто потратил все токены?

FinOps for AI Agents: Who Spent All the Tokens? — Tisha Chawla & Susheem Koul, Microsoft

Контроль расходов агентов работает лучше, если бюджет и политики применяются на уровне прогона агента, а не отдельного запроса к модели.

  • Атрибуция по прогонам — каждый вызов модели привязывается к агенту, прогону и пользователю или сегменту, поэтому счёт можно разобрать до конкретного запуска.
  • Steer вместо остановки — cost guard оценивает долю потраченного бюджета и скорость расхода токенов и, если бюджет не хватит, добавляет в системные инструкции просьбу отвечать короче. Жёсткая остановка остаётся последним шагом.
  • Цифры бенчмарков — по словам авторов, на browser use и MetaGPT средние траты упали почти на 78%, а доля завершённых прогонов выросла с 67% до примерно 96% по сравнению с простым троттлингом.
  • Режим предпросмотра — политики считаются, но не исполняются, поэтому пороги можно проверить на боевом трафике до включения ограничений.

Кому полезно: тем, кто запускает агентов с инструментами и поиском в продакшен и не может понять, откуда берётся счёт за модель.

Доклад цитируется в статьях

На какие вопросы отвечает доклад

  • Как привязать расходы токенов к конкретному агенту и запуску?

    Каждый запуск агента фиксируется в леджере с run ID и пользовательскими измерениями. Аннотация на методах или объектах LLM записывает входы и выходы без изменения кода агента.

    ▶ 10:57Инструментация и управление поведением agent
  • Как ограничить агента, который зациклился или раздул контекст, не обрывая запуск?

    Сначала срабатывают политики: компактизация контекста, сокращение вывода инструментов, детекция зацикливания. Остановка по исчерпанному бюджету остаётся последним средством.

    ▶ 5:46Управление расходами на уровне запуска agent
  • Как заставить агента уложиться в оставшийся бюджет токенов?

    Cost guard учитывает долю потраченного бюджета и скорость расхода токенов. При прогнозе перерасхода он добавляет в системные инструкции просьбу отвечать короче. По словам авторов, средние траты на тестах упали почти на 78%.

    ▶ 16:23Демо: проверка, остановка и управление
  • Как внедрить лимиты расходов агентов в продакшен, не сломав рабочие запуски?

    Режим preview выполняет все политики, но не применяет действия. Так можно проверить пороги на реальном трафике и только потом включить принудительное применение.

    ▶ 16:23Демо: проверка, остановка и управление
  • Почему лимиты на API-шлюзе не контролируют стоимость агентного цикла?

    Шлюзы работают на уровне отдельных запросов к модели: маршрутизация и жёсткие капы. Циклы между агентом и инструментами и порождение субагентов они не видят, поэтому нужен контроль на уровне запуска.

    ▶ 5:46Управление расходами на уровне запуска agent

Главы

Ещё доклады: Susheem Koul

Страница спикера →

Похожие доклады