← Каталог

· AI Engineer Code 2025

Code World Model: создание моделей мира для вычислений

Code World Model: Building World Models for Computation

Code World Model предсказывает выполнение программы по трассировкам вместо продолжения кода по токенам, и, по словам авторов, это помогает модели рассуждать о коде.

  • Трассировки выполнения как данные для обучения — каждая строка трассировки соответствует строке программы, значения локальных переменных записаны явно. По словам спикера, такой формат можно расширить до уровня репозитория и распределённых систем.
  • Bash-среда для агентов — в SWE-RL модель получает GitHub issue и работает через Bash с меньшим набором инструментов, чем у других моделей, то есть в среде, близкой к рабочей среде инженера.
  • Асинхронный RL без ожиданий — генерация траекторий, оценка и обновление весов идут очередями, а веса меняются даже в середине траектории. По словам авторов, поведение остаётся почти on-policy, а пропускная способность высокая.

Кому полезно: тем, кто обучает код-модели или агентов через RL и хочет разобрать асинхронный post-training на реальной Bash-среде.

Статья по теме

Главы

Похожие доклады