← Каталог

· AI Engineer World's Fair 2026

Parameter Golf с AutoResearch

Parameter Golf with AutoResearch — Vayum Arora, Zhengyao Jiang, Dixing Xu & Dhruv Srikanth, Weco AI

Zhengyao Jiang, Dhruv Srikanth и ещё 2 спикераВсе 4Свернуть

Автоматический цикл экспериментов даёт результат только при жёстком контракте: редактируемый код, быстрая оценка с одной метрикой и ограниченный бюджет.

  • Контракт для autoresearch — агенту нужны файл, который он правит, команда оценки с одним скалярным значением, явное направление оптимизации, лимит шагов и таймаут. В примере на 20 шагов таймаут 210 секунд: 60 на обучение, 60 на тест и 90 на накладные расходы Modal.
  • Быстрая и малошумная оценка — чем дешевле и стабильнее оценка, тем больше гипотез проверяется за тот же бюджет. Агенты склонны к reward hacking и находят дыры в протоколе оценки, поэтому её нужно защищать.
  • Дерево экспериментов — каждый узел хранит код и оценку, удачные ветки развиваются дальше, а человек может открыть новую ветку идеей на естественном языке или задать бюджет на конкретный узел.
  • Вклад сообщества — по словам авторов, агент пять дней стоял на плато в Parameter Golf, а через восемь часов после публикации токенизатора участником сообщества объединил его со своими наработками и получил самый большой скачок за несколько недель.

Кому полезно: инженерам, которые хотят запускать autoresearch на своих задачах с измеримой метрикой и понимать, как построить оценку, чтобы агент не обманывал.

Статья по теме

На какие вопросы отвечает доклад

  • Из каких частей состоит цикл autoresearch и что задать агенту перед запуском?

    Редактируемый исходный файл, фиксированная команда оценки с одним скалярным значением и направлением оптимизации, бюджет шагов (в примере 20) и таймаут оценки. Таймаут 210 секунд: 60 на обучение, 60 на тест и 90 на накладные расходы. Ещё нужен markdown с подсказками.

    ▶ 11:04Редактируемый код, оценки, метрики и бюджеты поиска
  • Как не дать агенту в autoresearch подогнать результат под дыры в оценке?

    Спикеры называют агентов склонными к reward hacking. Оценка должна быть быстрой, дешёвой и с низким шумом, а сама проверка должна быть максимально устойчивой к обходу.

    ▶ 11:04Редактируемый код, оценки, метрики и бюджеты поиска
  • Как ограничить агента, чтобы он менял только логику и не трогал оценку?

    В соревновании агент правит один файл контроллера с неизменной сигнатурой функции, без импортов, внешних библиотек и файлового ввода-вывода. Итоговый счёт считается на скрытой выборке, поэтому переобучение под публичную игру не работает.

    ▶ 30:55Правила соревнования, советы по улучшению и итоги
  • Как свести несколько целей оптимизации к одной метрике для агента?

    Метрики либо взвешивают и складывают в одну, либо одна из них становится ограничением, а оптимизируется другая. В Parameter Golf размер модели держат как ограничение и оптимизируют точность.

    ▶ 24:41Обучение с подкреплением и несколько целей
  • Можно ли применять autoresearch к скриптам обучения с reinforcement learning?

    Да, спикеры ссылаются на проект Sokoban speedrunner, где цикл применён к RL-скриптам обучения Q-learning модели для игры.

    ▶ 24:41Обучение с подкреплением и несколько целей
  • Что делать, если автоматический поиск улучшений застрял на плато?

    В Parameter Golf после пяти дней плато человек из сообщества предложил новый токенизатор. Система подхватила эту идею примерно за восемь часов и объединила её с уже найденными улучшениями.

    ▶ 19:40Идеи сообщества и прорыв в токенизации
  • Как понять, какая правка кода дала скачок метрики в запуске autoresearch?

    Поиск показан деревом экспериментов: у каждого узла видны оценка и diff кода. Можно открыть узел, найти правку, которая дала прирост, и ветвить поиск от лучших вариантов.

    ▶ 16:31Деревья экспериментов, наблюдаемость и управление

Главы

Ещё доклады: Zhengyao Jiang

Страница спикера →

Похожие доклады