Умер ли agent harness?
Is the Agent Harness Dead? — Jediah Katz, SpaceXAI
Модели уже впитали многие coding-приёмы харнесса, но harness остаётся нужен для новых задач, облачного рантайма, прав доступа и стоимости работы агентов.
- Выбор харнесса и бенчмарки — по словам спикера, два исследования не нашли заметной разницы в оценках между harness для новых моделей, зато стоимость задачи различалась значимо.
- Маховик данных — harness открывает задачи, которые моделям пока не по силам, использование даёт данные для обучения, и после этого устаревшую обвязку можно удалять.
- Shim как временная заплатка — поведенческие обходы логируются централизованно, а когда shim перестаёт срабатывать, агент сам открывает PR на его удаление.
- Что модель не заберёт — облачный рантайм, разграничение прав по агентам и людям и эффективность: по словам авторов Grokbot, снизили стоимость и задержку без потери качества. Спикер ожидает, что через полгода 90% работы агентов пойдёт вне ноутбука.
Кому полезно: тем, кто строит долгоживущих агентов и решает, какую обвязку оставить, а какую удалить при выходе новых моделей.
Статья по теме
На какие вопросы отвечает доклад
Почему на новых моделях выбор агентного харнесса почти не влияет на результат в кодинге?
По словам спикера, исследования на SWE-bench Lite и MLE-bench не нашли значимой разницы между харнессами для новых моделей. Модели сами освоили изучение кодовой базы, долгую работу и запуск тестов, которые раньше добавлял харнесс.
▶ 5:00Исследования влияния harnessПочему харнесс со временем удаляет собственные обходные инструкции, которые раньше были нужны?
По описанию спикера, харнесс открывает более сложные задачи, пользователи генерируют на них данные, модели учатся этим навыкам, и лишние части харнесса становятся ненужными. Он называет это data flywheel.
▶ 6:16Маховик данныхКакие части агентного харнесса модель не сможет заменить собой?
Спикер называет облачную runtime-инфраструктуру для долгих задач, ограничение прав и guardrails для доступа к ключам и действиям, а также эффективность по стоимости и скорости на задачу.
▶ 12:07Инфраструктура, доверие и эффективностьКак отслеживать временные обходные правила в агенте и понять, когда их пора удалить?
Спикер централизованно логирует все такие shims при каждом срабатывании. Когда shim перестаёт срабатывать, агент по дашборду открывает PR с предложением его удалить.
▶ 14:21Что дальше ждёт harnessКак дать агенту реагировать на сообщения в Slack, падения CI и расписание без отдельной интеграции на каждое событие?
Спикер описывает примитив subscriptions: один фреймворк и один инструмент, через который агент подписывается на любые события. Это позволяет добавлять функции без усложнения работы агента.
▶ 14:21Что дальше ждёт harnessПочему агенту для веб-сценариев, писем коллегам и памяти нужны дополнительные промпты и guardrails?
Модели ещё не освоили такие задачи, как создание слайдов и бронирование поездок. Харнесс добавляет промпты и ограничения на сообщения, рискованные действия, когда действовать, а когда спрашивать, и обучение по памяти.
▶ 7:34Harness открывают новые горизонты
Главы
Похожие доклады
Harness engineering: как создавать ПО, когда люди задают направление, а агенты выполняют работу
AI Engineer Europe 2026
Близко по содержанию
Агент за кулисами: создание облачной платформы Oz для агентов
AI Engineer World's Fair 2026
Близко по содержанию
Почему ваш coding agent не всегда следует вашим правилам
AI Engineer Europe 2026
Близко по содержанию
Пространственный harness: агенты на холсте
Близко по содержанию

