· AI Engineer World's Fair 2026
Масштабирование reinforcement learning между дата-центрами
Taking Reinforcement Learning Cross Datacenter
Тренер можно оставить в RDMA-кластере, а rollout вынести на разрозненные GPU, передавая только битовый патч весов вместо чекпойнта около 500 ГБ.
- Почему патч мал — шаг Adam обычно порядка learning rate (например, 3e-6), а видимый в BF16 вес меняется, только если сдвиг пересекает границу округления около 0,0039 для весов около единицы. По словам автора, около 99% весов остаются побитово одинаковыми между версиями; для Muon это пока открытый вопрос.
- Патч вместо полной передачи — передаются позиции изменённых весов и их новые значения, поэтому восстановление побитовое и не накапливает ошибку сложения.
- Острова без all-reduce — между rollout-островами нет глобальной коллективной операции: наружу уходят версия политики, обратно приходят траектории, токены, logprob и метаданные.
- Реализация Stitch — Modal публикует неизменяемые версии весов на общую доску, а sidecar рядом с движком догоняет нужную версию патчами в формате safetensors, совместимом с vLLM; если догнать не получается, движок получает отказ.
Кому полезно: тем, кто запускает RL post-training на GPU из нескольких регионов или провайдеров и упирается в синхронизацию весов.
Главы
Похожие доклады
Адаптация и fine-tuning LLM для специализированных областей
AI Engineer Summit 2023
Близко по содержанию
Ускорение обучения Mixture of Experts с помощью оптимизированной по rail-топологии сети InfiniBand в Crusoe Cloud
AI Engineer World's Fair 2024
Близко по содержанию
Современный post-training: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию
Эффективное обучение с подкреплением
AI Engineer Code 2025
Близко по содержанию
