Z.ai GLM-4.6: чему нас научили 100 миллионов загрузок open source-моделей
Z.ai GLM-4.6: What We Learned From 100 Million Open Source Downloads — Yuxuan Zhang, Z.ai
Агентные навыки открытой GLM-4.6 держатся на длинноконтекстном обучении и асинхронном RL, и, по словам авторов, она приблизилась к Claude Sonnet 4 в кодинге.
- Асинхронный RL для агентов — в фреймворке slime rollout-воркеры работают с реальными средами и пишут траектории в буфер, а обучение идёт своим темпом, поэтому медленные задачи не блокируют пайплайн. Веса для генерации переводятся в блочный FP8 после каждого обновления, обучение остаётся в BF16.
- Токенная функция потерь в code RL — усреднение по токенам вместо усреднения по последовательности быстрее сходится и снижает генерацию коротких шаблонных ответов ради награды.
- Одна стадия RL на 64K — для модели, уже обученной на 64K, более короткие стадии RL ухудшали длинный контекст, а один запуск сразу на 64K дал лучший результат по словам авторов.
Кому полезно: тем, кто обучает открытые модели для агентного кодинга или строит RL для многошаговых агентов.
Статья по теме
Главы
Похожие доклады
Всё, что нужно знать о fine-tuning и объединении LLM
AI Engineer World's Fair 2024
Близко по содержанию
Gemma: семейство открытых моделей DeepMind
AI Engineer Europe 2026
Близко по содержанию
GLM-5.2: открытые веса и интеллект почти на уровне передовых моделей
Близко по содержанию
Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Близко по содержанию

