← Каталог

· AI Engineer World's Fair 2026

Масштабирование для задач с длинным горизонтом

Scaling to Long Horizons

Обучение агентов на длинных горизонтах требует другой RL-настройки: value model, компромисса между off-policy и загрузкой GPU и реалистичных сред.

  • Value model против разреженной награды — с ростом длины траектории градиент становится шумнее, а critic снижает дисперсию и даёт сигнал до конца эпизода через bootstrapping. Цена в том, что нужно обучать второй value model, а это сложнее, чем GRPO.
  • Off-policy против простоя GPU — pipeline RL начинает обучение, пока генерируются другие последовательности. По опыту авторов, off-policy до восьми шагов допустим, но если инференс длится неделями, GPU простаивают, а bootstrapping добавляет смещение value model.
  • Бенчмарк KellyBench — агенты строили модели машинного обучения для ставок на футбольную Premier League на горизонте года. По словам авторов, все передовые модели со стартовыми 100K потеряли деньги.
  • Среда как инфраструктура — платформа OpenReward, по словам авторов, даёт больше 350 сред через один API endpoint, и её используют для внутреннего RL.

Кому полезно: тем, кто обучает агентов с RL на задачах длиннее одной сессии и считает стоимость GPU.

Статья по теме

Главы

Похожие доклады