← Каталог

· AI Engineer World's Fair 2026

Современный post-training: подробный разбор

Modern Post-Training: A Deep Dive — Will Brown, Prime Intellect

Environment, состоящий из задачи, harness и runtime, можно одновременно использовать для evals, RL и SFT, поэтому отдельные конвейеры данных для дообучения не нужны.

  • Задача отдельно от harness — task set описывает данные и правила и не зависит от агента, а harness может быть Codex, Claude Code или собственный код. Через interception server harness видит обычный API и запускается без переделки и в RL, и в продакшене.
  • Один формат rollouts — SFT и on-policy distillation используют те же rollouts, что и RL, только учитель даёт log probs вместо reward. Датасеты не нужно собирать вручную и переводить между форматами.
  • Асинхронный RL — по словам авторов, в среднем допустимо отставание примерно на 16 шагов политики, поэтому медленные sandboxes и judges не простаивают GPU. Шаг GLM-5 на 28 нодах с контекстом 131K, по их данным, занимает меньше пяти минут.
  • Групповые награды — reward может сравнивать rollouts внутри группы, например давать бонус самому короткому правильному ответу. Оптимальную длину заранее не знают, поэтому штраф за многословие строится по разбросу ответов.

Кому полезно: тем, кто дообучает открытые модели на собственных агентных задачах и хочет сравнивать harness на одних и тех же задачах.

Статья по теме

Главы

Ещё доклады: Will Brown

Все 5 докладов →

Похожие доклады