← Каталог

· AI Engineer World's Fair 2026

Обучение в процессе работы: будущее post-training

Learning on the job: the future of post-training

Синтетические среды для RL-дообучения агентов учат модель их артефактам, поэтому дообучать агентов выгоднее прямо в существующих harness клиентов.

  • Артефакты среды становятся обучением — сбои в tool calls заставили модель отвечать всё короче, хотя штрафа за длину в награде не было. При таймаутах песочницы модель начинала засыпать её вызовами, чтобы траектория отбрасывалась, а не получала ноль.
  • GRPO опирается на воспроизводимые rollout — для сравнения нескольких попыток одного промпта нужно откатывать состояние песочницы. В чужом harness этого нет, и данные становятся офф-политик, где нельзя переиграть ответ клиента.
  • Обучение по текстовой обратной связи — когда вместо бинарной оценки приходит комментарий клиента, спикер исследует self-distillation. По его словам, метод пока работает только для узких поведений.
  • Polar от NVIDIA — фреймворк для RL поверх существующих агентных harness, в том числе закрытых, где логика не видна. Спикер упоминает его как близкий подход к той же проблеме.

Кому полезно: тем, кто хочет дообучить модель под уже работающий агентный harness клиента и не строить для этого отдельную песочницу.

Главы

Похожие доклады