← Каталог

· BAAI Conference 2026 · 北京智源大会

Обучение с подкреплением для агентов и роботов: RLinf, AReaL и экономика вычислений

2026北京智源大会丨强化学习

Chao Yu, Weiwen Liu и ещё 3 спикераВсе 5Свернуть

RL для агентов и роботов сейчас упирается в стоимость rollout, инфраструктуру и данные из реального использования.

  • Асинхронный RL на реальных роботах — RLinf отделяет генерацию, передачу данных и обновление весов; по словам спикера, это даёт 5,7-кратный рост пропускной способности обучения, а на Franka в Пекине и Шэньчжэне эффективность выросла втрое.
  • Экономия вычислений — rollout стоит распределять по задачам средней сложности, а не равномерно; по словам докладчика, это снижает стоимость обучения примерно на 50%. Вариант GRPO без value model экономит 46% памяти.
  • Награда на уровне токенов — по данным спикера, ошибочные токены составляют около 2,77% ответа, но 94,7% ответов содержат хотя бы одну ошибку, поэтому штраф на уровне всего ответа слишком грубый.
  • Агентные данные из продакшена — AReaL 2.0 делит inference, агента и обучение на отдельные сервисы, а gateway направляет пользовательские сессии в обучение, где обратная связь служит наградой, без переписывания кода агента.

Кому полезно: тем, кто строит RL-обучение для роботов или агентов и упирается в стоимость rollout и инфраструктуру.

Главы

Похожие доклады