← Каталог

· AI Engineer World's Fair 2025

Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents

[Full Workshop] Reinforcement Learning, Kernels, Reasoning, Quantization & Agents — Daniel Han

Для обучения рассуждений через RLVR, по словам автора, решает не алгоритм, а качество reward-функций: проверяемая награда определяет результат.

  • GRPO без value-модели — вместо отдельной модели оценки берётся группа ответов на один вопрос, и награда нормируется по среднему и стандартному отклонению внутри группы. Так экономятся параметры и вычисления по сравнению с PPO.
  • Оценка по расстоянию до ответа — по опыту автора, награда, которая учитывает близость ответа к правильному, помогает модели учиться быстрее, чем проверка «верно или нет». Для кода проверить такую награду сложнее.
  • Предварительный SFT перед RL — базовая модель почти всегда получает нулевую награду, поэтому автор сначала дообучает её на сотне примеров с цепочками рассуждений. Демо на бесплатном Colab с Qwen3 заняло около трёх часов.
  • Динамическое квантование — по словам автора, DeepSeek-R1 сжимается с 730 до 140 ГБ. На Llama 4 Scout потеря точности на MMLU около 1%, при этом MoE-слои сжимаются сильно, а слои внимания остаются в высокой точности.

Кому полезно: тем, кто дообучает открытую модель на задачах с проверяемым результатом, например на математике или коде.

Статья по теме

Главы

Ещё доклады: Daniel Han

Все 4 доклада →

Похожие доклады