· AI Engineer World's Fair 2025
Обучение с подкреплением для автономного программирования
RL for Autonomous Coding — Aakanksha Chowdhery, Reflection AI
Автономный кодинг удобен для масштабирования RL, потому что результат кода можно проверить автоматически, и это задаёт награды для обучения.
- Проверяемые награды — unit tests, обратная связь от выполнения кода и проверка компилятором дают автоматический сигнал вместо нейронной reward-модели, которая склонна к reward hacking.
- Inference-time scaling без верификации — majority voting по множеству сэмплов даёт прирост только там, где ответ можно проверить. Без верификации правильные генерации бывают очень редкими, и найти их перебором невыгодно.
- Цена RL-стека — по словам спикера, PPO требует четырёх копий моделей на кластере, а GRPO из DeepSeekMath убирает value-модель и оставляет три копии. Расклад по GPU остаётся сложной инженерной задачей.
- Опыт вместо симуляции — в реальной разработке rollout неполон, поэтому данные приходится собирать из реального опыта. Симуляция с world model годится в основном для робототехники и физического AI.
Кому полезно: тем, кто обучает кодинговых агентов с RL и проектирует reward-функции для задач с тестами.
Статья по теме
Главы
Похожие доклады
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Близко по содержанию
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию
Масштабирование для задач с длинным горизонтом
AI Engineer World's Fair 2026
Близко по содержанию
Масштабирование непрерывного обучения
AI Engineer World's Fair 2026
Близко по содержанию

