← Каталог

· AI Engineer NYC 2026 Online Talks

Что выявляет технический аудит, когда в презентации обещают «70% автоматизации»

What Technical Due Diligence Finds When the Deck Says “70% Automated” — Soukaïna Abelhad

Заявление «70% автоматизации» стоит проверять тремя тестами: ростом нагрузки против полной стоимости людей, границей автоматизации и совпадением автоматических оценок с мнением экспертов.

  • Нагрузка против труда — рост объёма работы сопоставляйте с полной стоимостью людей: операторов, ревьюеров, тренеров, эскалаций и переделок. По наблюдательным данным Faros, у команд с высоким использованием AI на 98% выросло число слитых pull request, а время ревью выросло на 91%; это не доказывает, что AI увеличил штат.
  • Граница автоматизации — доля работы, которую приписывают AI, и полностью автономное выполнение это разные утверждения. Просите straight-through rate внутри названного workflow: Uber, например, говорит о 70% pull request с участием AI, но полную автономную долю не раскрывает.
  • Оценка против экспертов — по данным METR, автоматический грейдер давал оценки примерно на 24 процентных пункта выше, чем решения мейнтейнеров о принятии изменений, даже после поправки на человеческую базу. Спросите, кто делал эталонную разметку и измеряли ли согласие с экспертами.
  • Стоимость принятой автономной задачи — считайте cost per accepted autonomous task с учётом затрат на AI, ревью, эскалации, провалы и переделки.

Кому полезно: тем, кто оценивает вендоров автоматизации или инвестирует в AI-продукты и должен проверить заявленную долю автоматизации.

Статья по теме

Главы

Похожие доклады