· AI Engineer World's Fair 2026
Parameter Golf с AutoResearch
Parameter Golf with AutoResearch — Vayum Arora, Zhengyao Jiang, Dixing Xu & Dhruv Srikanth, Weco AI
Zhengyao Jiang, Dhruv Srikanth и ещё 2 спикераВсе 4Свернуть
Автоматический цикл экспериментов даёт результат только при жёстком контракте: редактируемый код, быстрая оценка с одной метрикой и ограниченный бюджет.
- Контракт для autoresearch — агенту нужны файл, который он правит, команда оценки с одним скалярным значением, явное направление оптимизации, лимит шагов и таймаут. В примере на 20 шагов таймаут 210 секунд: 60 на обучение, 60 на тест и 90 на накладные расходы Modal.
- Быстрая и малошумная оценка — чем дешевле и стабильнее оценка, тем больше гипотез проверяется за тот же бюджет. Агенты склонны к reward hacking и находят дыры в протоколе оценки, поэтому её нужно защищать.
- Дерево экспериментов — каждый узел хранит код и оценку, удачные ветки развиваются дальше, а человек может открыть новую ветку идеей на естественном языке или задать бюджет на конкретный узел.
- Вклад сообщества — по словам авторов, агент пять дней стоял на плато в Parameter Golf, а через восемь часов после публикации токенизатора участником сообщества объединил его со своими наработками и получил самый большой скачок за несколько недель.
Кому полезно: инженерам, которые хотят запускать autoresearch на своих задачах с измеримой метрикой и понимать, как построить оценку, чтобы агент не обманывал.
Статья по теме
На какие вопросы отвечает доклад
Из каких частей состоит цикл autoresearch и что задать агенту перед запуском?
Редактируемый исходный файл, фиксированная команда оценки с одним скалярным значением и направлением оптимизации, бюджет шагов (в примере 20) и таймаут оценки. Таймаут 210 секунд: 60 на обучение, 60 на тест и 90 на накладные расходы. Ещё нужен markdown с подсказками.
▶ 11:04Редактируемый код, оценки, метрики и бюджеты поискаКак не дать агенту в autoresearch подогнать результат под дыры в оценке?
Спикеры называют агентов склонными к reward hacking. Оценка должна быть быстрой, дешёвой и с низким шумом, а сама проверка должна быть максимально устойчивой к обходу.
▶ 11:04Редактируемый код, оценки, метрики и бюджеты поискаКак ограничить агента, чтобы он менял только логику и не трогал оценку?
В соревновании агент правит один файл контроллера с неизменной сигнатурой функции, без импортов, внешних библиотек и файлового ввода-вывода. Итоговый счёт считается на скрытой выборке, поэтому переобучение под публичную игру не работает.
▶ 30:55Правила соревнования, советы по улучшению и итогиКак свести несколько целей оптимизации к одной метрике для агента?
Метрики либо взвешивают и складывают в одну, либо одна из них становится ограничением, а оптимизируется другая. В Parameter Golf размер модели держат как ограничение и оптимизируют точность.
▶ 24:41Обучение с подкреплением и несколько целейМожно ли применять autoresearch к скриптам обучения с reinforcement learning?
Да, спикеры ссылаются на проект Sokoban speedrunner, где цикл применён к RL-скриптам обучения Q-learning модели для игры.
▶ 24:41Обучение с подкреплением и несколько целейЧто делать, если автоматический поиск улучшений застрял на плато?
В Parameter Golf после пяти дней плато человек из сообщества предложил новый токенизатор. Система подхватила эту идею примерно за восемь часов и объединила её с уже найденными улучшениями.
▶ 19:40Идеи сообщества и прорыв в токенизацииКак понять, какая правка кода дала скачок метрики в запуске autoresearch?
Поиск показан деревом экспериментов: у каждого узла видны оценка и diff кода. Можно открыть узел, найти правку, которая дала прирост, и ветвить поиск от лучших вариантов.
▶ 16:31Деревья экспериментов, наблюдаемость и управление
Главы
Ещё доклады: Zhengyao Jiang
Страница спикера →Как Autoresearch меняет исследования в машинном обучении
AI Engineer World's Fair 2026
Похожие доклады
От нуля до лидерборда: evals для agents
AI Engineer World's Fair 2026
Близко по содержанию
Побеждаем RL с помощью рефлексии: GEPA и Optimize Anything
AI Engineer World's Fair 2026
Близко по содержанию
Как autoresearch ускорил наши модели втрое
AI Engineer World's Fair 2026
Близко по содержанию




