← Каталог

· AI Engineer Code 2025

Масштабирование сред для RL

RL Environments at Scale

Окружение из harness, задач и наград одновременно работает как eval, генератор синтетических данных и среда для RL.

  • Эксперимент вместо проверки на глаз — когда задачи и награды заданы заранее, можно сравнивать модели и гиперпараметры по метрикам. Rubric объединяет несколько наград, а метрики без веса дают наблюдаемость в ходе обучения.
  • Малая модель после RL — по словам спикера, Qwen3-4B на задаче поиска по Wikipedia выросла с примерно 55% до 89% и догнала GPT-4.1 и GPT-5 Mini.
  • Слои над общей инфраструктурой — окружения собираются из общих блоков, поэтому новую задачу можно добавить поверх готовой multi-turn среды или агента для командной строки. Библиотека verifiers открыта.
  • Обучение большого масштаба — по словам спикера, стек PRIME-RL использовали для post-training модели больше 100B параметров на 500 GPU, сочетая SFT и RL.

Кому полезно: командам, которые хотят дообучать модель под свой продукт и собственные evals, а не только вызывать API.

Статья по теме

На какие вопросы отвечает доклад

  • Как дообучить маленькую модель через RL, если размеченных примеров для SFT нет?

    Нужно описать задачи, харнесс и награды и измерять ответы, тогда данные создаются на лету без эталонов. В примере WikiSearch Qwen3-4B выросла с примерно 55% до 89%, по словам спикера, это уровень GPT-4.1 и GPT-5 Mini.

    ▶ 8:04Environments Hub и компонуемые инструменты Verifiers
  • Чем RL-среда отличается от обычного агентного харнесса и почему её нельзя проверить вайб-чеком?

    Среда заранее задаёт задачи и награды, поэтому её нужно проверять экспериментами с моделями и гиперпараметрами, как настоящий eval. Харнесс без заданных задач и наград такой проверки не требует.

    ▶ 4:30Модели для конкретных продуктов и устройство RL-сред
  • Можно ли использовать один набор задач для evals, синтетических данных и RL, а не писать три отдельных пайплайна?

    Да: среда из задач, харнесса и наград одновременно служит evals, движком синтетических данных для SFT и дистилляции и средой для RL. Так же устроены и агенты, которые работают в продакшене.

    ▶ 4:30Модели для конкретных продуктов и устройство RL-сред
  • Как собрать несколько критериев награды в один reward и вывести метрики без влияния на обучение?

    Для этого используется rubric, в котором разные награды компонуются вместе. Метрики с нулевой наградой нужны только для наблюдаемости того, что происходит при обучении.

    ▶ 8:04Environments Hub и компонуемые инструменты Verifiers
  • Как обучить модель на 100B+ параметров с SFT и RL на 500 GPU с открытым стеком?

    Спикер показывает сквозной post-training модели на 100B+ параметров на 500 GPU с PRIME-RL, включая SFT и RL. По его словам, модель выйдет публично в ближайшее время под названием Intellect-3.

    ▶ 13:46Evals как среды и масштабное обучение PRIME-RL
  • Стоит ли обучать собственную модель под продукт, если API уже дают приемлемое качество?

    Спикер считает, что выигрывают продукты, где можно решить на любом уровне стека, customizировать ли модель под продукт. Примеры — Cursor Composer и Codex, обученные в харнессе продукта.

    ▶ 4:30Модели для конкретных продуктов и устройство RL-сред

Главы

Ещё доклады: Will Brown

Все 5 докладов →

Похожие доклады