← Каталог

· AI Engineer World's Fair 2025

Обучение агентных рассуждателей

Training Agentic Reasoners

Агент с инструментами и модель для reasoning обучаются одной схемой: среда, награда и политика, поэтому агента можно дообучать RL тем же кодом.

  • Агент как RL-среда — harness становится средой, eval наградой, а задача промптом, поэтому награду можно отлаживать на API Claude, DeepSeek или OpenAI до запуска обучения.
  • Цикл агента, совместимый с RL — пакет Verifiers (ставится через pip) описывает rollout как обычный цикл агента с OpenAI-совместимым клиентом, а parsers и rubrics дают готовые блоки для наград.
  • SFT warm-up для малых моделей — синтетические данные сильной модели перед RL; по словам спикера, 7B модель учится играть в Wordle, где награда даётся за решение и за меньшее число ходов.
  • Rubric как общее понятие — reward-модели, reward-функции и LLM-as-judge описываются одним термином; по мнению спикера, reward hacking говорит о слабом eval, поэтому обойти его должно быть труднее, чем решить задачу.

Кому полезно: тем, кто строит агентов с инструментами и хочет дообучать открытые модели под свои задачи на паре GPU.

Статья по теме

Главы

Ещё доклады: Will Brown

Все 5 докладов →

Похожие доклады