← Каталог

Умер ли agent harness?

Is the Agent Harness Dead? — Jediah Katz, SpaceXAI

Модели уже впитали многие coding-приёмы харнесса, но harness остаётся нужен для новых задач, облачного рантайма, прав доступа и стоимости работы агентов.

  • Выбор харнесса и бенчмарки — по словам спикера, два исследования не нашли заметной разницы в оценках между harness для новых моделей, зато стоимость задачи различалась значимо.
  • Маховик данных — harness открывает задачи, которые моделям пока не по силам, использование даёт данные для обучения, и после этого устаревшую обвязку можно удалять.
  • Shim как временная заплатка — поведенческие обходы логируются централизованно, а когда shim перестаёт срабатывать, агент сам открывает PR на его удаление.
  • Что модель не заберёт — облачный рантайм, разграничение прав по агентам и людям и эффективность: по словам авторов Grokbot, снизили стоимость и задержку без потери качества. Спикер ожидает, что через полгода 90% работы агентов пойдёт вне ноутбука.

Кому полезно: тем, кто строит долгоживущих агентов и решает, какую обвязку оставить, а какую удалить при выходе новых моделей.

Статья по теме

На какие вопросы отвечает доклад

  • Почему на новых моделях выбор агентного харнесса почти не влияет на результат в кодинге?

    По словам спикера, исследования на SWE-bench Lite и MLE-bench не нашли значимой разницы между харнессами для новых моделей. Модели сами освоили изучение кодовой базы, долгую работу и запуск тестов, которые раньше добавлял харнесс.

    ▶ 5:00Исследования влияния harness
  • Почему харнесс со временем удаляет собственные обходные инструкции, которые раньше были нужны?

    По описанию спикера, харнесс открывает более сложные задачи, пользователи генерируют на них данные, модели учатся этим навыкам, и лишние части харнесса становятся ненужными. Он называет это data flywheel.

    ▶ 6:16Маховик данных
  • Какие части агентного харнесса модель не сможет заменить собой?

    Спикер называет облачную runtime-инфраструктуру для долгих задач, ограничение прав и guardrails для доступа к ключам и действиям, а также эффективность по стоимости и скорости на задачу.

    ▶ 12:07Инфраструктура, доверие и эффективность
  • Как отслеживать временные обходные правила в агенте и понять, когда их пора удалить?

    Спикер централизованно логирует все такие shims при каждом срабатывании. Когда shim перестаёт срабатывать, агент по дашборду открывает PR с предложением его удалить.

    ▶ 14:21Что дальше ждёт harness
  • Как дать агенту реагировать на сообщения в Slack, падения CI и расписание без отдельной интеграции на каждое событие?

    Спикер описывает примитив subscriptions: один фреймворк и один инструмент, через который агент подписывается на любые события. Это позволяет добавлять функции без усложнения работы агента.

    ▶ 14:21Что дальше ждёт harness
  • Почему агенту для веб-сценариев, писем коллегам и памяти нужны дополнительные промпты и guardrails?

    Модели ещё не освоили такие задачи, как создание слайдов и бронирование поездок. Харнесс добавляет промпты и ограничения на сообщения, рискованные действия, когда действовать, а когда спрашивать, и обучение по памяти.

    ▶ 7:34Harness открывают новые горизонты

Главы

Похожие доклады