← Каталог

· AI Engineer World's Fair 2026

Обучение с подкреплением без проверяемых наград

Reinforcement Learning without Verifiable Rewards — Will Brown, Prime Intellect

Non-verifiable RL становится практичным, если получать сигнал из самой среды: идти от известного решения назад и сравнивать ответ модели с источником и без него.

  • Обратная генерация задач — из реальных PR (diff, описание, тесты) или документов удаляют часть артефакта, и модель учится восстанавливать решение, достижимость которого заранее проверена.
  • Grounding через A/B — ответ модели с исходным материалом в контексте и без него даёт разрыв в качестве, который служит сигналом для обучения.
  • Судьи и рубрики — несколько моделей, оценивая трассы, извлекают rubric-вопросы; их затем дешевле применять для аудита и поиска reward hacking, чем запускать судью на каждом rollout.
  • Симуляторы инструментов — для MCP-инструментов и веб-приложений без полного доступа к бэкенду строят симулятор по продакшен-трассам; поскольку состояние бэкенда в симуляторе контролируется, ответ можно заложить заранее.

Кому полезно: тем, кто обучает агентов на задачах без автоматической проверки, например на возвратах средств или написании отчётов по документам.

Статья по теме

Главы

Ещё доклады: Will Brown

Все 5 докладов →

Похожие доклады