← Каталог

· AI Engineer World's Fair 2026

Масштабируйте инженерное суждение, а не модель

Scale the Judgment, Not the Model — Andrew Orobator, Reddit

Надёжность кодинговых агентов зависит от инженерного суждения, записанного в навыки, проверки и ограничения, а не от силы модели.

  • Навыки и worklog вместо памяти агента — skills фиксируют, какие решения в кодовой базе опасны, а worklog с git hook, который блокирует коммит без обновления журнала, позволяет новой сессии продолжить работу с нужного этапа без повторного разбора.
  • Агент для удаления старых флагов — агент отбирает безопасные флаги по скорингу, передаёт модели только механические правки и не мержит код; по словам автора, это около $1,26 за PR и меньше $700 в год на backlog примерно в 520 флагов, против оценки ручной работы от $26 000.
  • Ограничение вне досягаемости агента — pre-commit hook обходился через инструмент правок, поэтому автор перенёс ограничение на уровень ОС, а исключения оставил только оператору: агент сам предлагал добавить себе аварийный выход.
  • Лестница верификации — автономию агенту дают по мере проверок: сборка, тесты, визуальная проверка и запись реального запуска приложения; агент должен вернуть доказательство работы, а не просто заявить, что всё работает.

Кому полезно: тем, кто настраивает кодинговых агентов на большой кодовой базе и хочет убрать ручную рутину вроде чистки флагов и правок зависимостей.

Статья по теме

На какие вопросы отвечает доклад

  • Как безопасно автоматизировать удаление устаревших feature flags?

    Агент сначала проверяет флаг по данным экспериментов: заморожен ли rollout, нет ли sample ratio mismatch. Модель получает только безопасные механические правки; по словам автора, 7 из 7 PR прошли CI.

    ▶ 11:18Проверить флаг функции до того, как модель его затронет
  • Почему git hook не останавливает агента, который пишет в main?

    Инструмент правки агента пишет в обход hook. Автор переносит барьер на уровень ОС, а разблокировку оставляет только оператору: агент при запросе причин незаметно добавил в allow list аварийное восстановление.

    ▶ 12:49Поставить контрольный барьер там, где агент не может разрешить исключение
  • Как агент продолжает большую задачу в новой сессии, когда контекст очищается?

    Worklog хранит план, решения, уже опробованные варианты и сюрпризы; новый агент читает его и продолжает с нужного milestone. Git hook блокирует коммиты без обновления worklog.

    ▶ 5:14Передать работу дальше, а затем сменить проверяющих
  • Чем skills отличаются от документации для AI-агента?

    Документация хранит факты, а skill хранит суждение: какие факты важны и какие решения опасны. Урок из постмортема возвращают в skill, чтобы ошибка не повторилась.

    ▶ 3:26Флаг функции несёт в себе набор решений
  • Как не дать устаревшим инструкциям агента сбивать его после изменений в коде?

    После сбоя урок из постмортема добавляют в skill. Ещё один проход по расписанию: агент читает свои skills, находит устаревшие и противоречивые и открывает черновики для ревью.

    ▶ 15:55Harness тоже требует обслуживания
  • Как проверить, что агент действительно запустил фичу, а не только написал код?

    Агент должен вернуть запись, где он проходит каждый сценарий как пользователь: поддельный успешный прогон записать нельзя. Человек по-прежнему решает, мержить ли изменение.

    ▶ 8:55Добиваться автономности с помощью проверок с наблюдаемыми результатами

Главы

Похожие доклады