Code World Model: создание моделей мира для вычислений
Code World Model: Building World Models for Computation
Code World Model предсказывает выполнение программы по трассировкам вместо продолжения кода по токенам, и, по словам авторов, это помогает модели рассуждать о коде.
- Трассировки выполнения как данные для обучения — каждая строка трассировки соответствует строке программы, значения локальных переменных записаны явно. По словам спикера, такой формат можно расширить до уровня репозитория и распределённых систем.
- Bash-среда для агентов — в SWE-RL модель получает GitHub issue и работает через Bash с меньшим набором инструментов, чем у других моделей, то есть в среде, близкой к рабочей среде инженера.
- Асинхронный RL без ожиданий — генерация траекторий, оценка и обновление весов идут очередями, а веса меняются даже в середине траектории. По словам авторов, поведение остаётся почти on-policy, а пропускная способность высокая.
Кому полезно: тем, кто обучает код-модели или агентов через RL и хочет разобрать асинхронный post-training на реальной Bash-среде.
Статья по теме
Главы
Похожие доклады
World models нуждаются в причинности, а не в красивых пикселях
AI Engineer World's Fair 2026
Близко по содержанию
Хватит увеличивать модели — научите их работать как надо
AI Engineer Europe 2026
Близко по содержанию
Обучение Krea 2: что важно при обучении генеративных моделей
AI Engineer World's Fair 2026
Близко по содержанию
BAAI Conference 2026 · 北京智源大会6:03:21
World models: JEPA, Physis, генерация 3D и обучение роботов
Zhiwei Yu, Delong Chen, Yang Liu, Boyuan Chen, Shenyuan Gao, Zhongyuan Wang, Zheng Zhu, Yujun Shen, Hao Wang, Chunchao Guo, Zhenguo Sun
BAAI Conference 2026 · 北京智源大会
Близко по содержанию

