← Каталог

· AI Engineer Code 2025

Z.ai GLM-4.6: чему нас научили 100 миллионов загрузок open source-моделей

Z.ai GLM-4.6: What We Learned From 100 Million Open Source Downloads — Yuxuan Zhang, Z.ai

Агентные навыки открытой GLM-4.6 держатся на длинноконтекстном обучении и асинхронном RL, и, по словам авторов, она приблизилась к Claude Sonnet 4 в кодинге.

  • Асинхронный RL для агентов — в фреймворке slime rollout-воркеры работают с реальными средами и пишут траектории в буфер, а обучение идёт своим темпом, поэтому медленные задачи не блокируют пайплайн. Веса для генерации переводятся в блочный FP8 после каждого обновления, обучение остаётся в BF16.
  • Токенная функция потерь в code RL — усреднение по токенам вместо усреднения по последовательности быстрее сходится и снижает генерацию коротких шаблонных ответов ради награды.
  • Одна стадия RL на 64K — для модели, уже обученной на 64K, более короткие стадии RL ухудшали длинный контекст, а один запуск сразу на 64K дал лучший результат по словам авторов.

Кому полезно: тем, кто обучает открытые модели для агентного кодинга или строит RL для многошаговых агентов.

Статья по теме

Главы

Похожие доклады