← Каталог

· AI Engineer World's Fair 2026

Масштабирование непрерывного обучения

Scaling up Continual Learning

On-policy self-distillation с подсказкой, по словам автора, вместо одного скалярного reward даёт сигнал на каждый токен и обходится без параллельных rollout.

  • Учитель из той же модели — в промпт добавляется привилегированная подсказка, например эталонное решение, и логарифмы вероятностей ответа без подсказки подгоняются под ответ с ней. Учитель не нужен сильнее студента, поэтому метод работает там, где большей модели уже нет.
  • Сдвиг всего распределения — на каждом токене подтягивается распределение по всему словарю, а не только выбранный токен. По словам автора, GRPO на LiveCodeBench упирается примерно в уровень Sonnet, а этот подход выходит за него.
  • Вес шага по KL-дивергенции — на длинных задачах учитель постоянно вставляет в рассуждение оговорки, и распределение модели застревает между двумя ответами. Авторы взвешивают каждый шаг по расхождению студента и учителя; по их словам, метод доведён до 120B модели на Mercor Apex agents, где нужно больше 100 tool calls.
  • Утечка подсказки — модель начинает ссылаться на информацию, которой в реальности не было. Защита: фильтрация подсказки через LLM или residual guidance, где линейная комбинация частичной и полной подсказки ограничивает сдвиг распределения.

Кому полезно: тем, кто дообучает модели на длинных агентных задачах с tool calls и хочет сигнал для обучения без инфраструктуры параллельных rollout.

На какие вопросы отвечает доклад

  • Почему GRPO упирается в потолок на сложных задачах и не выходит за уровень модели?

    По словам спикера, на LiveCodeBench GRPO выходит примерно на уровень Sonnet и дальше не идёт, а on-policy self-distillation с подсказкой для учителя сдвигает распределения модели и даёт новые результаты.

    ▶ 7:14On-policy self-distillation и supervision на уровне токенов
  • Как дообучать агента на живых запросах пользователей без бенчмарков и параллельных прогонов?

    Берётся один пример и rollout самой модели, а учителем служит та же модель с подсказкой в промпте; параллельные rollout не нужны, а сигнал приходит на каждый токен, а не одним скаляром.

    ▶ 7:14On-policy self-distillation и supervision на уровне токенов
  • Почему агент в длинных задачах с десятками вызовов инструментов начинает бесконечно писать wait и maybe?

    Учитель постоянно пытается поправить отклонившегося студента, и распределения расходятся. По словам спикера, помогает взвешивать каждый шаг по KL-дивергенции между студентом и учителем.

    ▶ 11:30Применение OpenClaw-RL и проблемы reward hacking
  • Как не дать модели подсмотреть подсказку учителя при self-distillation?

    Подсказки можно отфильтровать LLM-ом, чтобы убрать решение. Residual guidance берёт половину подсказки и линейно комбинирует логарифмы частичного и полного учителя, чтобы не уводить модель в далёкое распределение.

    ▶ 11:30Применение OpenClaw-RL и проблемы reward hacking
  • Почему на 120B моделях с 50–100 вызовами инструментов растёт разброс результатов между прогонами?

    По словам спикера, при таком масштабе точность на eval сильно скачет, дисперсия между запусками высокая, и появляются ошибки в tool calls: модель перестаёт следовать формату, на котором её дообучали.

    ▶ 11:30Применение OpenClaw-RL и проблемы reward hacking
  • Можно ли обновлять модель на продакшен-трафике почти в реальном времени или обучение идёт пакетами?

    Пока это псевдо-непрерывное обучение с пакетными офлайн-обновлениями и повторной загрузкой модели. Сведение тысяч rollout из продукта остаётся нерешённой инфраструктурной и алгоритмической задачей, по словам спикера.

    ▶ 20:36Архитектура платформы, вопросы задержки обучения и заключение

Главы

Похожие доклады