← Каталог

· AI Engineer World's Fair 2026

Всё — это rollout

Everything Is a Rollout — Alex Shaw + Ryan Marten, Terminal-Bench, Harbor, Laude Institute

Агенты стоит считать чёрными ящиками машинного обучения и улучшать их через evals и rollouts в песочницах.

  • Eval до выбора модели — по словам автора, сначала строится eval, который измеряет нужный результат, и только потом сравниваются модели, поэтому публичным бенчмаркам можно не доверять. Ramp, по словам автора, сделал SWE-bench на собственной кодовой базе, чтобы выбрать агента под свои задачи.
  • Среда как директория с файлами — задача описывается инструкцией, песочницей и верификатором (тестами, рубрикой или агентом). Такой формат переносится между командами, а в реестре Harbor, по словам автора, три-четыре сотни наборов evals.
  • Агентный MapReduce — map-шаг запускает дешёвый и быстрый агент на каждой сессии, reduce-шаг сводит результаты более сильной моделью. В демо на 32 сессиях Codex получился feedback.md с повторяющимися ошибками, которые затем становятся задачами для следующей партии evals.
  • Траектории как обучающий сигнал — rollouts с наградой от верификатора используют для SFT и reinforcement learning, а также для оптимизации промптов и harness методами вроде GEPA.

Кому полезно: тем, кто строит evals для агентов в продукте или во внутренних процессах и хочет сравнивать модели на собственных задачах.

Статья по теме

Главы

Ещё доклады: Ryan Marten

Страница спикера →

Похожие доклады