· AI Engineer NYC 2026 Online Talks
Что выявляет технический аудит, когда в презентации обещают «70% автоматизации»
What Technical Due Diligence Finds When the Deck Says “70% Automated” — Soukaïna Abelhad
Заявление «70% автоматизации» стоит проверять тремя тестами: ростом нагрузки против полной стоимости людей, границей автоматизации и совпадением автоматических оценок с мнением экспертов.
- Нагрузка против труда — рост объёма работы сопоставляйте с полной стоимостью людей: операторов, ревьюеров, тренеров, эскалаций и переделок. По наблюдательным данным Faros, у команд с высоким использованием AI на 98% выросло число слитых pull request, а время ревью выросло на 91%; это не доказывает, что AI увеличил штат.
- Граница автоматизации — доля работы, которую приписывают AI, и полностью автономное выполнение это разные утверждения. Просите straight-through rate внутри названного workflow: Uber, например, говорит о 70% pull request с участием AI, но полную автономную долю не раскрывает.
- Оценка против экспертов — по данным METR, автоматический грейдер давал оценки примерно на 24 процентных пункта выше, чем решения мейнтейнеров о принятии изменений, даже после поправки на человеческую базу. Спросите, кто делал эталонную разметку и измеряли ли согласие с экспертами.
- Стоимость принятой автономной задачи — считайте cost per accepted autonomous task с учётом затрат на AI, ревью, эскалации, провалы и переделки.
Кому полезно: тем, кто оценивает вендоров автоматизации или инвестирует в AI-продукты и должен проверить заявленную долю автоматизации.
Статья по теме
Главы
Похожие доклады
Токены — самая дешёвая часть
AI Engineer NYC 2026 Online Talks
Близко по содержанию
Внутри 847 клинических AI-заметок из продакшена
AI Engineer World's Fair 2026
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Доказывая альфу: как хедж-фонд измеряет ROI от AI
Близко по содержанию
