← Каталог

· AI Engineer World's Fair 2024

Ускорение обучения Mixture of Experts с помощью оптимизированной по rail-топологии сети InfiniBand в Crusoe Cloud

Accelerating Mixture of Experts Training With Rail-Optimized InfiniBand Networking in Crusoe Cloud

Включение PXN в NCCL на rail-optimized InfiniBand, по словам авторов, сокращает время обучения Mixtral на 240 H100 примерно на 14%.

  • Простой GPU на all-reduce — без оптимизации сетевой обмен занимает 25–30% времени обучения. Перекрытие вычислений и коммуникаций, по словам спикера, убирает лишь около 10%, поэтому GPU всё равно простаивают примерно четверть времени.
  • Rail-схема вместо одного leaf — подключение серверов к одному leaf создаёт узкое место и единую точку отказа: при потере leaf выпадают все его GPU. Так устроена сеть Crusoe Cloud: GPU одного индекса на разных хостах подключены к одному rail, а трафик между rails без оптимизации уходит в spine и добавляет хоп.
  • PXN в NCCL — GPU передаёт трафик через внутренний NVSwitch хоста и выходит в нужный leaf, поэтому связь между rails остаётся на одном хопе. Синтетические NCCL-тесты дали заметный прирост, но спикер подчёркивает, что клиентов интересует время обучения, и приводит именно его.

Кому полезно: тем, кто запускает распределённое обучение MoE-моделей на GPU-кластере и видит простой GPU во время all-reduce.

Главы

Похожие доклады