Масштабирование сред для RL
RL Environments at Scale
Окружение из harness, задач и наград одновременно работает как eval, генератор синтетических данных и среда для RL.
- Эксперимент вместо проверки на глаз — когда задачи и награды заданы заранее, можно сравнивать модели и гиперпараметры по метрикам. Rubric объединяет несколько наград, а метрики без веса дают наблюдаемость в ходе обучения.
- Малая модель после RL — по словам спикера,
Qwen3-4Bна задаче поиска по Wikipedia выросла с примерно 55% до 89% и догнала GPT-4.1 и GPT-5 Mini. - Слои над общей инфраструктурой — окружения собираются из общих блоков, поэтому новую задачу можно добавить поверх готовой multi-turn среды или агента для командной строки. Библиотека
verifiersоткрыта. - Обучение большого масштаба — по словам спикера, стек
PRIME-RLиспользовали для post-training модели больше 100B параметров на 500 GPU, сочетая SFT и RL.
Кому полезно: командам, которые хотят дообучать модель под свой продукт и собственные evals, а не только вызывать API.
Статья по теме
На какие вопросы отвечает доклад
Как дообучить маленькую модель через RL, если размеченных примеров для SFT нет?
Нужно описать задачи, харнесс и награды и измерять ответы, тогда данные создаются на лету без эталонов. В примере WikiSearch Qwen3-4B выросла с примерно 55% до 89%, по словам спикера, это уровень GPT-4.1 и GPT-5 Mini.
▶ 8:04Environments Hub и компонуемые инструменты VerifiersЧем RL-среда отличается от обычного агентного харнесса и почему её нельзя проверить вайб-чеком?
Среда заранее задаёт задачи и награды, поэтому её нужно проверять экспериментами с моделями и гиперпараметрами, как настоящий eval. Харнесс без заданных задач и наград такой проверки не требует.
▶ 4:30Модели для конкретных продуктов и устройство RL-средМожно ли использовать один набор задач для evals, синтетических данных и RL, а не писать три отдельных пайплайна?
Да: среда из задач, харнесса и наград одновременно служит evals, движком синтетических данных для SFT и дистилляции и средой для RL. Так же устроены и агенты, которые работают в продакшене.
▶ 4:30Модели для конкретных продуктов и устройство RL-средКак собрать несколько критериев награды в один reward и вывести метрики без влияния на обучение?
Для этого используется rubric, в котором разные награды компонуются вместе. Метрики с нулевой наградой нужны только для наблюдаемости того, что происходит при обучении.
▶ 8:04Environments Hub и компонуемые инструменты VerifiersКак обучить модель на 100B+ параметров с SFT и RL на 500 GPU с открытым стеком?
Спикер показывает сквозной post-training модели на 100B+ параметров на 500 GPU с PRIME-RL, включая SFT и RL. По его словам, модель выйдет публично в ближайшее время под названием Intellect-3.
▶ 13:46Evals как среды и масштабное обучение PRIME-RLСтоит ли обучать собственную модель под продукт, если API уже дают приемлемое качество?
Спикер считает, что выигрывают продукты, где можно решить на любом уровне стека, customizировать ли модель под продукт. Примеры — Cursor Composer и Codex, обученные в харнессе продукта.
▶ 4:30Модели для конкретных продуктов и устройство RL-сред
Главы
Ещё доклады: Will Brown
Все 5 докладов →Обучение агентных рассуждателей
AI Engineer World's Fair 2025
Обучение с подкреплением без проверяемых наград
AI Engineer World's Fair 2026
Современный post-training: подробный разбор
AI Engineer World's Fair 2026
Похожие доклады
Что RL значит для агентов
AI Engineer Summit 2025
Тот же спикер: Will Brown
Масштабирование вычислений для работы с контекстом
AI Engineer World's Fair 2026
Близко по содержанию
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Близко по содержанию

