← Каталог

Mousepower: если агентов нельзя измерить, ими нельзя управлять

Mousepower: agents that can’t be measured, can’t be managed. — Maximillian Piras, Yutori

Внедрение агентов упирается в измерение ценности, и выход в том, чтобы связывать расходы на токены с результатами и брать задачи с понятными критериями приёмки.

  • Токены как промежуточная метрика — расход на токены показывает только затраты, поэтому их нужно привязывать к результатам: закрытым багам, закрытым обращениям в поддержку.
  • Узкое место в ревью кода — генерация кода ускорилась, а проверка остаётся ручной. По словам спикера, даже Anthropic признала, что code review не решён.
  • Задачи средней неопределённости — лучше всего работают задачи, где шаги не полностью предсказуемы, но результат легко проверить. Если шаги фиксированы, хватит скрипта; если критерии размыты, проверка обходится так же дорого, как выполнение.
  • Mousepower как ориентир для клиентов — по замыслу спикера, это аналогия horsepower Джеймса Ватта для агентов, а не готовая метрика. Смысл в том, чтобы дать клиенту базу для сравнения эффективности агента с человеком за компьютером.

Кому полезно: тем, кто продаёт или внедряет агентов в компаниях и должен объяснить заказчику, окупаются ли токены.

Статья по теме

На какие вопросы отвечает доклад

  • Какие задачи стоит отдавать агентам, а какие лучше автоматизировать скриптом?

    Подходят задачи со средней неопределённостью шагов и понятными критериями приёмки. Если шаги предсказуемы, хватит скрипта; если результат нельзя проверить, агент не даёт пользы.

    ▶ 16:13Матрица энтропии для агентных задач
  • Как проверять работу агента, если проверка почти так же трудоёмка, как сама задача?

    Если проверить результат проще, чем выполнить задачу, агента можно поставить и на проверку, вплоть до отдельного агента-верификатора. Задачи с размытыми критериями приёмки по сути требуют повторной работы человека.

    ▶ 16:13Матрица энтропии для агентных задач
  • Как связать расходы на токены с реальными результатами, чтобы оправдать их?

    По словам спикера, токены — лишь внутренний показатель, и их нужно прослеживать до результатов: закрытых багов, закрытых обращений поддержки и прогресса по целям. Иначе команды то переплачивают, то отказываются от агентов.

    ▶ 8:58Петля обречённости в расходах на токены
  • Почему агенты для кодинга упираются в code review, хотя писать код теперь быстро?

    Генерация кода ускорилась, а проверка людьми нет: большая часть времени уходит на ревью pull request. Спикер считает, что допущения, на которых держится code review, нужно пересмотреть.

    ▶ 11:29Code review — узкое место
  • Какой метрикой измерить эффективность агентов по сравнению с человеком?

    Спикер предлагает концепт mousepower по аналогии с horsepower: базовую эффективность работы за компьютером и сравнение с агентом. Это идея для разговора с заказчиком, а не готовая метрика.

    ▶ 14:26Mousepower: ROI для агентов

Главы

Ещё доклады: Maximillian Piras

Страница спикера →

Похожие доклады