· AI Engineer World's Fair 2025
Обучение агентных рассуждателей
Training Agentic Reasoners
Агент с инструментами и модель для reasoning обучаются одной схемой: среда, награда и политика, поэтому агента можно дообучать RL тем же кодом.
- Агент как RL-среда — harness становится средой, eval наградой, а задача промптом, поэтому награду можно отлаживать на API Claude, DeepSeek или OpenAI до запуска обучения.
- Цикл агента, совместимый с RL — пакет
Verifiers(ставится через pip) описывает rollout как обычный цикл агента с OpenAI-совместимым клиентом, а parsers и rubrics дают готовые блоки для наград. - SFT warm-up для малых моделей — синтетические данные сильной модели перед RL; по словам спикера, 7B модель учится играть в Wordle, где награда даётся за решение и за меньшее число ходов.
- Rubric как общее понятие — reward-модели, reward-функции и LLM-as-judge описываются одним термином; по мнению спикера, reward hacking говорит о слабом eval, поэтому обойти его должно быть труднее, чем решить задачу.
Кому полезно: тем, кто строит агентов с инструментами и хочет дообучать открытые модели под свои задачи на паре GPU.
Статья по теме
Главы
Ещё доклады: Will Brown
Все 5 докладов →Масштабирование сред для RL
AI Engineer Code 2025
Обучение с подкреплением без проверяемых наград
AI Engineer World's Fair 2026
Современный post-training: подробный разбор
AI Engineer World's Fair 2026
Похожие доклады
Что RL значит для агентов
AI Engineer Summit 2025
Тот же спикер: Will Brown
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Близко по содержанию
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию

