← Каталог

· AI Engineer World's Fair 2025

Обучение с подкреплением для автономного программирования

RL for Autonomous Coding — Aakanksha Chowdhery, Reflection AI

Автономный кодинг удобен для масштабирования RL, потому что результат кода можно проверить автоматически, и это задаёт награды для обучения.

  • Проверяемые награды — unit tests, обратная связь от выполнения кода и проверка компилятором дают автоматический сигнал вместо нейронной reward-модели, которая склонна к reward hacking.
  • Inference-time scaling без верификации — majority voting по множеству сэмплов даёт прирост только там, где ответ можно проверить. Без верификации правильные генерации бывают очень редкими, и найти их перебором невыгодно.
  • Цена RL-стека — по словам спикера, PPO требует четырёх копий моделей на кластере, а GRPO из DeepSeekMath убирает value-модель и оставляет три копии. Расклад по GPU остаётся сложной инженерной задачей.
  • Опыт вместо симуляции — в реальной разработке rollout неполон, поэтому данные приходится собирать из реального опыта. Симуляция с world model годится в основном для робототехники и физического AI.

Кому полезно: тем, кто обучает кодинговых агентов с RL и проектирует reward-функции для задач с тестами.

Статья по теме

Главы

Похожие доклады