· AI Engineer World's Fair 2026
Масштабирование непрерывного обучения
Scaling up Continual Learning
On-policy self-distillation с подсказкой, по словам автора, вместо одного скалярного reward даёт сигнал на каждый токен и обходится без параллельных rollout.
- Учитель из той же модели — в промпт добавляется привилегированная подсказка, например эталонное решение, и логарифмы вероятностей ответа без подсказки подгоняются под ответ с ней. Учитель не нужен сильнее студента, поэтому метод работает там, где большей модели уже нет.
- Сдвиг всего распределения — на каждом токене подтягивается распределение по всему словарю, а не только выбранный токен. По словам автора, GRPO на LiveCodeBench упирается примерно в уровень Sonnet, а этот подход выходит за него.
- Вес шага по KL-дивергенции — на длинных задачах учитель постоянно вставляет в рассуждение оговорки, и распределение модели застревает между двумя ответами. Авторы взвешивают каждый шаг по расхождению студента и учителя; по их словам, метод доведён до 120B модели на Mercor Apex agents, где нужно больше 100 tool calls.
- Утечка подсказки — модель начинает ссылаться на информацию, которой в реальности не было. Защита: фильтрация подсказки через LLM или residual guidance, где линейная комбинация частичной и полной подсказки ограничивает сдвиг распределения.
Кому полезно: тем, кто дообучает модели на длинных агентных задачах с tool calls и хочет сигнал для обучения без инфраструктуры параллельных rollout.
На какие вопросы отвечает доклад
Почему GRPO упирается в потолок на сложных задачах и не выходит за уровень модели?
По словам спикера, на LiveCodeBench GRPO выходит примерно на уровень Sonnet и дальше не идёт, а on-policy self-distillation с подсказкой для учителя сдвигает распределения модели и даёт новые результаты.
▶ 7:14On-policy self-distillation и supervision на уровне токеновКак дообучать агента на живых запросах пользователей без бенчмарков и параллельных прогонов?
Берётся один пример и rollout самой модели, а учителем служит та же модель с подсказкой в промпте; параллельные rollout не нужны, а сигнал приходит на каждый токен, а не одним скаляром.
▶ 7:14On-policy self-distillation и supervision на уровне токеновПочему агент в длинных задачах с десятками вызовов инструментов начинает бесконечно писать wait и maybe?
Учитель постоянно пытается поправить отклонившегося студента, и распределения расходятся. По словам спикера, помогает взвешивать каждый шаг по KL-дивергенции между студентом и учителем.
▶ 11:30Применение OpenClaw-RL и проблемы reward hackingКак не дать модели подсмотреть подсказку учителя при self-distillation?
Подсказки можно отфильтровать LLM-ом, чтобы убрать решение. Residual guidance берёт половину подсказки и линейно комбинирует логарифмы частичного и полного учителя, чтобы не уводить модель в далёкое распределение.
▶ 11:30Применение OpenClaw-RL и проблемы reward hackingПочему на 120B моделях с 50–100 вызовами инструментов растёт разброс результатов между прогонами?
По словам спикера, при таком масштабе точность на eval сильно скачет, дисперсия между запусками высокая, и появляются ошибки в tool calls: модель перестаёт следовать формату, на котором её дообучали.
▶ 11:30Применение OpenClaw-RL и проблемы reward hackingМожно ли обновлять модель на продакшен-трафике почти в реальном времени или обучение идёт пакетами?
Пока это псевдо-непрерывное обучение с пакетными офлайн-обновлениями и повторной загрузкой модели. Сведение тысяч rollout из продукта остаётся нерешённой инфраструктурной и алгоритмической задачей, по словам спикера.
▶ 20:36Архитектура платформы, вопросы задержки обучения и заключение
Главы
Похожие доклады
Обучение с подкреплением без проверяемых наград
AI Engineer World's Fair 2026
Близко по содержанию
Прокачка модели: RFT, DPO, SFT (fine-tuning с OpenAI)
AI Engineer World's Fair 2025
Близко по содержанию
Обучение Albatross: экспертной языковой модели для финансов
AI Engineer World's Fair 2024
Близко по содержанию
Адаптация и fine-tuning LLM для специализированных областей
AI Engineer Summit 2023
Близко по содержанию
