← Каталог

· AI Engineer World's Fair 2026

А что, если harness важнее модели?

What if the harness mattered more than the model? - Aditya Bhargava, Etsy

Для слабых моделей обвязка (harness) важнее самой модели: по словам автора, одна смена обвязки двигает результат больше чем на 20 процентных пунктов.

  • Разброс от одной обвязки — в бенчмарке HarnessBench (106 задач) при одной и той же модели итоговые баллы менялись от 52,4% до 76,2%, и сильнее всего обвязка влияла на слабые модели.
  • Ограничение доступа без подтверждений — частичное применение функций (partial function application) фиксирует аргумент директории, поэтому модель не видит этого параметра и работает только с заданной папкой, не спрашивая разрешения на каждое действие.
  • Проверка тестами в цикле — цикл «рассуждение, действие, наблюдение» с запуском тестов позволяет агенту увидеть падение, исправить код и перепроверить результат.
  • Субагенты как обычные функции — субагент вызывается как инструмент, и верхний агент выбирает группу инструментов, а не перебирает один большой набор; по словам автора, это снижает путаницу при выборе инструмента.

Кому полезно: тем, кто строит агентов на открытых локальных моделях и хочет поднять их качество через обвязку.

Статья по теме

Главы

Похожие доклады