Software engineering превращается в factory engineering
Engineer Your Coding Agents Like Any Other System — Zach Lloyd, Warp
Coding агентов нужно масштабировать через software factory: декларативно описанную замкнутую петлю, которую измеряют онлайн-эвалами и улучшают сами агенты.
- Фабрика как код — агенты, триггеры, MCP, репозитории и workflow описываются в декларативных файлах в духе Terraform, поэтому конфигурацию фабрики можно ветвить, тестировать и откатывать.
- Online evals вместо ручной проверки — отдельный агент оценивает записанные сессии по конкретным признакам, например по лишним тестам, а найденные паттерны агенты превращают в PR к определению фабрики. По словам спикера, так команда Warp снизила стоимость и подняла пропускную способность.
- Бенчмарки на своих задачах — реальные задачи из истории прогоняют против разных моделей, harness и наборов skills, чтобы проверить, например, стало ли лучше после удаления части skills.
- Централизованная запись всего — разговоры, артефакты и скриншоты агентов сохраняются в одном месте, а по этим данным считают метрики вроде DORA и число человеческих взаимодействий на PR.
Кому полезно: тем, кто переводит команду с локальных coding агентов на общую платформу и хочет считать их стоимость и качество.
