· AI Engineer World's Fair 2026
Масштабирование для задач с длинным горизонтом
Scaling to Long Horizons
Обучение агентов на длинных горизонтах требует другой RL-настройки: value model, компромисса между off-policy и загрузкой GPU и реалистичных сред.
- Value model против разреженной награды — с ростом длины траектории градиент становится шумнее, а critic снижает дисперсию и даёт сигнал до конца эпизода через bootstrapping. Цена в том, что нужно обучать второй value model, а это сложнее, чем GRPO.
- Off-policy против простоя GPU — pipeline RL начинает обучение, пока генерируются другие последовательности. По опыту авторов, off-policy до восьми шагов допустим, но если инференс длится неделями, GPU простаивают, а bootstrapping добавляет смещение value model.
- Бенчмарк KellyBench — агенты строили модели машинного обучения для ставок на футбольную Premier League на горизонте года. По словам авторов, все передовые модели со стартовыми 100K потеряли деньги.
- Среда как инфраструктура — платформа OpenReward, по словам авторов, даёт больше 350 сред через один API endpoint, и её используют для внутреннего RL.
Кому полезно: тем, кто обучает агентов с RL на задачах длиннее одной сессии и считает стоимость GPU.
Статья по теме
Главы
Похожие доклады
Обучение с подкреплением без проверяемых наград
AI Engineer World's Fair 2026
Близко по содержанию
Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Близко по содержанию
Прокачка модели: RFT, DPO, SFT (fine-tuning с OpenAI)
AI Engineer World's Fair 2025
Близко по содержанию
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Близко по содержанию


