· AI Engineer World's Fair 2025
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
[Full Workshop] Reinforcement Learning, Kernels, Reasoning, Quantization & Agents — Daniel Han
Для обучения рассуждений через RLVR, по словам автора, решает не алгоритм, а качество reward-функций: проверяемая награда определяет результат.
- GRPO без value-модели — вместо отдельной модели оценки берётся группа ответов на один вопрос, и награда нормируется по среднему и стандартному отклонению внутри группы. Так экономятся параметры и вычисления по сравнению с PPO.
- Оценка по расстоянию до ответа — по опыту автора, награда, которая учитывает близость ответа к правильному, помогает модели учиться быстрее, чем проверка «верно или нет». Для кода проверить такую награду сложнее.
- Предварительный SFT перед RL — базовая модель почти всегда получает нулевую награду, поэтому автор сначала дообучает её на сотне примеров с цепочками рассуждений. Демо на бесплатном Colab с Qwen3 заняло около трёх часов.
- Динамическое квантование — по словам автора, DeepSeek-R1 сжимается с 730 до 140 ГБ. На Llama 4 Scout потеря точности на MMLU около 1%, при этом MoE-слои сжимаются сильно, а слои внимания остаются в высокой точности.
Кому полезно: тем, кто дообучает открытую модель на задачах с проверяемым результатом, например на математике или коде.
Статья по теме
Главы
Ещё доклады: Daniel Han
Все 4 доклада →Технические основы LLM на низком уровне
AI Engineer World's Fair 2024
Исправляем ошибки в Gemma, Llama и Phi-3
AI Engineer World's Fair 2024
Сжатие моделей для edge-устройств
Daniel Han, Merve Noyan, Chris Alexiuk, Asma Beevi, Parth Sareen
AI Engineer World's Fair 2026
Похожие доклады
Масштабирование reinforcement learning: уроки внедрений на триллионах токенов в компаниях Fortune 500
AI Engineer Europe 2026
Близко по содержанию
Специальные темы: kernels, RL и reward hacking в агентах
AI Engineer World's Fair 2026
Тот же спикер: Daniel Han
Таксономия моделей рассуждения следующего поколения
AI Engineer World's Fair 2025
Близко по содержанию

