· BAAI Conference 2026 · 北京智源大会
Обучение с подкреплением для агентов и роботов: RLinf, AReaL и экономика вычислений
2026北京智源大会丨强化学习
Chao Yu, Weiwen Liu и ещё 3 спикераВсе 5Свернуть
RL для агентов и роботов сейчас упирается в стоимость rollout, инфраструктуру и данные из реального использования.
- Асинхронный RL на реальных роботах — RLinf отделяет генерацию, передачу данных и обновление весов; по словам спикера, это даёт 5,7-кратный рост пропускной способности обучения, а на Franka в Пекине и Шэньчжэне эффективность выросла втрое.
- Экономия вычислений — rollout стоит распределять по задачам средней сложности, а не равномерно; по словам докладчика, это снижает стоимость обучения примерно на 50%. Вариант GRPO без value model экономит 46% памяти.
- Награда на уровне токенов — по данным спикера, ошибочные токены составляют около 2,77% ответа, но 94,7% ответов содержат хотя бы одну ошибку, поэтому штраф на уровне всего ответа слишком грубый.
- Агентные данные из продакшена — AReaL 2.0 делит inference, агента и обучение на отдельные сервисы, а gateway направляет пользовательские сессии в обучение, где обратная связь служит наградой, без переписывания кода агента.
Кому полезно: тем, кто строит RL-обучение для роботов или агентов и упирается в стоимость rollout и инфраструктуру.
Главы
Похожие доклады
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Близко по содержанию
BAAI Conference 2026 · 北京智源大会6:03:21
World models: JEPA, Physis, генерация 3D и обучение роботов
Zhiwei Yu, Delong Chen, Yang Liu, Boyuan Chen, Shenyuan Gao, Zhongyuan Wang, Zheng Zhu, Yujun Shen, Hao Wang, Chunchao Guo, Zhenguo Sun
BAAI Conference 2026 · 北京智源大会
Близко по содержанию
Эффективное обучение с подкреплением
AI Engineer Code 2025
Близко по содержанию
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию
