· AI Engineer World's Fair 2026
Обучение с подкреплением без проверяемых наград
Reinforcement Learning without Verifiable Rewards — Will Brown, Prime Intellect
Non-verifiable RL становится практичным, если получать сигнал из самой среды: идти от известного решения назад и сравнивать ответ модели с источником и без него.
- Обратная генерация задач — из реальных PR (diff, описание, тесты) или документов удаляют часть артефакта, и модель учится восстанавливать решение, достижимость которого заранее проверена.
- Grounding через A/B — ответ модели с исходным материалом в контексте и без него даёт разрыв в качестве, который служит сигналом для обучения.
- Судьи и рубрики — несколько моделей, оценивая трассы, извлекают rubric-вопросы; их затем дешевле применять для аудита и поиска reward hacking, чем запускать судью на каждом rollout.
- Симуляторы инструментов — для MCP-инструментов и веб-приложений без полного доступа к бэкенду строят симулятор по продакшен-трассам; поскольку состояние бэкенда в симуляторе контролируется, ответ можно заложить заранее.
Кому полезно: тем, кто обучает агентов на задачах без автоматической проверки, например на возвратах средств или написании отчётов по документам.
Статья по теме
Главы
Ещё доклады: Will Brown
Все 5 докладов →Обучение агентных рассуждателей
AI Engineer World's Fair 2025
Масштабирование сред для RL
AI Engineer Code 2025
Современный post-training: подробный разбор
AI Engineer World's Fair 2026
Похожие доклады
Что RL значит для агентов
AI Engineer Summit 2025
Тот же спикер: Will Brown
Масштабирование непрерывного обучения
AI Engineer World's Fair 2026
Близко по содержанию
Масштабирование для задач с длинным горизонтом
AI Engineer World's Fair 2026
Близко по содержанию

