← Каталог

· Apsara Conference 2026 · 云栖大会

За последней милей: как измерять ценность agents и управлять ею

Sun Tingtao, Kevin Huo и ещё 2 спикераВсе 4Свернуть

Часть записи Саммит по практике корпоративных Agent с 2:10:51

Снижать расходы на агентов без потери эффекта можно, только если заранее определены метрики качества и стоимость учитывается по бизнес-подразделениям.

  • Учёт стоимости по бизнес-подразделениям — токены привязываются к наименьшей операционной единице компании, и подразделение видит, сколько стоит его агент. Тогда становится понятно, готово ли оно платить больше за дополнительный объём.
  • Обрезка контекста вместо суммаризации — в Xiaohongshu результаты вызовов инструментов превращаются в объекты: неактуальные скрываются, но сохраняется указатель для восстановления. По словам спикера, на пиковой нагрузке расход токенов снизился на 20% без потери качества.
  • Оценка по процессу и результату — процессные метрики показывают лишние циклы и выбор инструментов, результатные отвечают, достиг ли агент цели. Прежде чем доверять LLM-as-a-judge, его сверяют с экспертами: по словам спикера, нужна согласованность выше 90%.
  • Медицина: экономия при сохранённом качестве — прямые расходы сокращают правилами для фиксированных данных, кэшируют сводки гайдлайнов вместо чтения статей и разделяют задачи по риску. Сокращение не принимается, если падают клинические показатели, а решение остаётся за врачом.

Кому полезно: тем, кто выводит агентов в продакшен и должен считать их стоимость и качество вместе.

Статья по теме

На какие вопросы отвечает доклад

  • Как распределить расходы на агентов между бизнес-подразделениями компании?

    Затраты считают по самой малой бизнес-единице, которая пользуется агентом, чтобы она видела свой расход и решала, готова ли платить больше. Технические оптимизации остаются отдельным рычагом.

    ▶ 6:36Учёт расходов по бизнес-подразделениям
  • Почему расход токенов агента растёт, а результат не улучшается?

    Рост токенов означает, что агент занят больше, но не обязательно работает лучше. Спикер советует оценивать процесс: понял ли агент намерение, верно ли выбрал инструменты, нет ли лишних циклов и нерелевантного поиска.

    ▶ 18:09Оценка процесса и бизнес-результатов
  • Как сократить расходы на токены агента без потери качества ответов?

    По словам спикера из Xiaohongshu, пороги расхода токенов по времени помогают ловить зацикливания, а сжатие контекста с сохранением указателей дало около 20% снижения в пиковые часы. Маршрутизация по сложности задачи, по его оценке, снизила стоимость примерно на 69%.

    ▶ 22:13Снижение расходов в Xiaohongshu
  • Как проверить, что LLM-as-a-judge оценивает агента так же, как эксперт?

    Оценщик сверяют с решениями экспертов на данных из трасс работы агента. По словам спикера, его стоит пускать в продакшен, когда согласованность с экспертами достигает 90% и выше.

    ▶ 18:09Оценка процесса и бизнес-результатов
  • Как понять, где агент зацикливается и тратит лишние токены?

    Наблюдаемость строят в несколько слоёв: технические метрики, полная трасса от получения задачи до результата и связка с бизнес-результатом. Трасса показывает, на каком шаге вызовы растут, и превращает агента из чёрного ящика в процесс.

    ▶ 11:06Наблюдаемость работы agents
  • Как снизить стоимость медицинского агента, не ухудшив качество диагнозов?

    Клинические рекомендации и данные пациента фиксируют и кэшируют, в вход берут только нужное, а задачи делят по риску. Экономию принимают, только если клинические показатели не падают, решение остаётся за врачом.

    ▶ 26:25Безопасная оптимизация в медицине
  • В каком порядке оптимизировать агента: сначала качество, потом стоимость?

    Сначала задают критерии успеха и красные линии, затем по реальным данным ищут причины провалов и проверяют изменения на наборе оценки. Выкатывают постепенно, а лишние повторные вызовы убирают раньше тонкой настройки контекста.

    ▶ 29:19Цикл непрерывной оптимизации agents

Главы

  1. 0:00Инфраструктура agents в медицине
  2. 6:36Учёт расходов по бизнес-подразделениям
  3. 11:06Наблюдаемость работы agents
  4. 14:25Медицинские онтологии и контекст пациента
  5. 18:09Оценка процесса и бизнес-результатов
  6. 22:13Снижение расходов в Xiaohongshu
  7. 26:25Безопасная оптимизация в медицине
  8. 29:19Цикл непрерывной оптимизации agents
  9. 33:37Приоритеты инвестиций и разработки

Похожие доклады