· AI Engineer World's Fair 2026
А что, если harness важнее модели?
What if the harness mattered more than the model? - Aditya Bhargava, Etsy
Для слабых моделей обвязка (harness) важнее самой модели: по словам автора, одна смена обвязки двигает результат больше чем на 20 процентных пунктов.
- Разброс от одной обвязки — в бенчмарке HarnessBench (106 задач) при одной и той же модели итоговые баллы менялись от 52,4% до 76,2%, и сильнее всего обвязка влияла на слабые модели.
- Ограничение доступа без подтверждений — частичное применение функций (partial function application) фиксирует аргумент директории, поэтому модель не видит этого параметра и работает только с заданной папкой, не спрашивая разрешения на каждое действие.
- Проверка тестами в цикле — цикл «рассуждение, действие, наблюдение» с запуском тестов позволяет агенту увидеть падение, исправить код и перепроверить результат.
- Субагенты как обычные функции — субагент вызывается как инструмент, и верхний агент выбирает группу инструментов, а не перебирает один большой набор; по словам автора, это снижает путаницу при выборе инструмента.
Кому полезно: тем, кто строит агентов на открытых локальных моделях и хочет поднять их качество через обвязку.
Статья по теме
Главы
Похожие доклады
Harness engineering: как создавать ПО, когда люди задают направление, а агенты выполняют работу
AI Engineer Europe 2026
Близко по содержанию
ACP: универсальный пульт управления для AI-агентов
Близко по содержанию
Пространственный harness: агенты на холсте
Близко по содержанию
Почему ваш coding agent не всегда следует вашим правилам
AI Engineer Europe 2026
Близко по содержанию

