Mousepower: если агентов нельзя измерить, ими нельзя управлять
Mousepower: agents that can’t be measured, can’t be managed. — Maximillian Piras, Yutori
Внедрение агентов упирается в измерение ценности, и выход в том, чтобы связывать расходы на токены с результатами и брать задачи с понятными критериями приёмки.
- Токены как промежуточная метрика — расход на токены показывает только затраты, поэтому их нужно привязывать к результатам: закрытым багам, закрытым обращениям в поддержку.
- Узкое место в ревью кода — генерация кода ускорилась, а проверка остаётся ручной. По словам спикера, даже Anthropic признала, что code review не решён.
- Задачи средней неопределённости — лучше всего работают задачи, где шаги не полностью предсказуемы, но результат легко проверить. Если шаги фиксированы, хватит скрипта; если критерии размыты, проверка обходится так же дорого, как выполнение.
- Mousepower как ориентир для клиентов — по замыслу спикера, это аналогия horsepower Джеймса Ватта для агентов, а не готовая метрика. Смысл в том, чтобы дать клиенту базу для сравнения эффективности агента с человеком за компьютером.
Кому полезно: тем, кто продаёт или внедряет агентов в компаниях и должен объяснить заказчику, окупаются ли токены.
Статья по теме
На какие вопросы отвечает доклад
Какие задачи стоит отдавать агентам, а какие лучше автоматизировать скриптом?
Подходят задачи со средней неопределённостью шагов и понятными критериями приёмки. Если шаги предсказуемы, хватит скрипта; если результат нельзя проверить, агент не даёт пользы.
▶ 16:13Матрица энтропии для агентных задачКак проверять работу агента, если проверка почти так же трудоёмка, как сама задача?
Если проверить результат проще, чем выполнить задачу, агента можно поставить и на проверку, вплоть до отдельного агента-верификатора. Задачи с размытыми критериями приёмки по сути требуют повторной работы человека.
▶ 16:13Матрица энтропии для агентных задачКак связать расходы на токены с реальными результатами, чтобы оправдать их?
По словам спикера, токены — лишь внутренний показатель, и их нужно прослеживать до результатов: закрытых багов, закрытых обращений поддержки и прогресса по целям. Иначе команды то переплачивают, то отказываются от агентов.
▶ 8:58Петля обречённости в расходах на токеныПочему агенты для кодинга упираются в code review, хотя писать код теперь быстро?
Генерация кода ускорилась, а проверка людьми нет: большая часть времени уходит на ревью pull request. Спикер считает, что допущения, на которых держится code review, нужно пересмотреть.
▶ 11:29Code review — узкое местоКакой метрикой измерить эффективность агентов по сравнению с человеком?
Спикер предлагает концепт mousepower по аналогии с horsepower: базовую эффективность работы за компьютером и сравнение с агентом. Это идея для разговора с заказчиком, а не готовая метрика.
▶ 14:26Mousepower: ROI для агентов
Главы
Ещё доклады: Maximillian Piras
Страница спикера →Горькая компоновка, или Как я полюбил выбор модели
AI Engineer World's Fair 2025
Похожие доклады
Тот же GPU — на 50% больше результата: почему важен оператор
Близко по содержанию
Coding agents не масштабируются сами. Команды — тоже
AI Engineer World's Fair 2026
Близко по содержанию
Стабилизирует ли оценка агентов через MCP сети агентов?
AI Engineer World's Fair 2025
Близко по содержанию
Токены — самая дешёвая часть
AI Engineer NYC 2026 Online Talks
Та же тема: Ценообразование и экономика

