· AI Engineer World's Fair 2026
Всё — это rollout
Everything Is a Rollout — Alex Shaw + Ryan Marten, Terminal-Bench, Harbor, Laude Institute
Агенты стоит считать чёрными ящиками машинного обучения и улучшать их через evals и rollouts в песочницах.
- Eval до выбора модели — по словам автора, сначала строится eval, который измеряет нужный результат, и только потом сравниваются модели, поэтому публичным бенчмаркам можно не доверять. Ramp, по словам автора, сделал SWE-bench на собственной кодовой базе, чтобы выбрать агента под свои задачи.
- Среда как директория с файлами — задача описывается инструкцией, песочницей и верификатором (тестами, рубрикой или агентом). Такой формат переносится между командами, а в реестре Harbor, по словам автора, три-четыре сотни наборов evals.
- Агентный MapReduce — map-шаг запускает дешёвый и быстрый агент на каждой сессии, reduce-шаг сводит результаты более сильной моделью. В демо на 32 сессиях Codex получился
feedback.mdс повторяющимися ошибками, которые затем становятся задачами для следующей партии evals. - Траектории как обучающий сигнал — rollouts с наградой от верификатора используют для SFT и reinforcement learning, а также для оптимизации промптов и harness методами вроде GEPA.
Кому полезно: тем, кто строит evals для агентов в продукте или во внутренних процессах и хочет сравнивать модели на собственных задачах.
Статья по теме
Главы
Ещё доклады: Ryan Marten
Страница спикера →OpenThoughts: рецепты подготовки данных для reasoning-моделей
AI Engineer World's Fair 2025
Похожие доклады
Не давайте агенту инструменты — дайте ему песочницу
Близко по содержанию
От fork() к Fleet: проектирование облака песочниц для агентов
AI Engineer World's Fair 2026
Близко по содержанию
Современный post-training: подробный разбор
AI Engineer World's Fair 2026
Та же тема: Обучение, RL, дообучение
Как тестировать агентов на реальных задачах с Harbor
Близко по содержанию


