← Каталог

· AI Engineer World's Fair 2026

Масштабирование reinforcement learning между дата-центрами

Taking Reinforcement Learning Cross Datacenter

Тренер можно оставить в RDMA-кластере, а rollout вынести на разрозненные GPU, передавая только битовый патч весов вместо чекпойнта около 500 ГБ.

  • Почему патч мал — шаг Adam обычно порядка learning rate (например, 3e-6), а видимый в BF16 вес меняется, только если сдвиг пересекает границу округления около 0,0039 для весов около единицы. По словам автора, около 99% весов остаются побитово одинаковыми между версиями; для Muon это пока открытый вопрос.
  • Патч вместо полной передачи — передаются позиции изменённых весов и их новые значения, поэтому восстановление побитовое и не накапливает ошибку сложения.
  • Острова без all-reduce — между rollout-островами нет глобальной коллективной операции: наружу уходят версия политики, обратно приходят траектории, токены, logprob и метаданные.
  • Реализация Stitch — Modal публикует неизменяемые версии весов на общую доску, а sidecar рядом с движком догоняет нужную версию патчами в формате safetensors, совместимом с vLLM; если догнать не получается, движок получает отказ.

Кому полезно: тем, кто запускает RL post-training на GPU из нескольких регионов или провайдеров и упирается в синхронизацию весов.

Главы

Похожие доклады