· AI Engineer World's Fair 2024
Ускорение обучения Mixture of Experts с помощью оптимизированной по rail-топологии сети InfiniBand в Crusoe Cloud
Accelerating Mixture of Experts Training With Rail-Optimized InfiniBand Networking in Crusoe Cloud
Включение PXN в NCCL на rail-optimized InfiniBand, по словам авторов, сокращает время обучения Mixtral на 240 H100 примерно на 14%.
- Простой GPU на all-reduce — без оптимизации сетевой обмен занимает 25–30% времени обучения. Перекрытие вычислений и коммуникаций, по словам спикера, убирает лишь около 10%, поэтому GPU всё равно простаивают примерно четверть времени.
- Rail-схема вместо одного leaf — подключение серверов к одному leaf создаёт узкое место и единую точку отказа: при потере leaf выпадают все его GPU. Так устроена сеть Crusoe Cloud: GPU одного индекса на разных хостах подключены к одному rail, а трафик между rails без оптимизации уходит в spine и добавляет хоп.
- PXN в NCCL — GPU передаёт трафик через внутренний NVSwitch хоста и выходит в нужный leaf, поэтому связь между rails остаётся на одном хопе. Синтетические NCCL-тесты дали заметный прирост, но спикер подчёркивает, что клиентов интересует время обучения, и приводит именно его.
Кому полезно: тем, кто запускает распределённое обучение MoE-моделей на GPU-кластере и видит простой GPU во время all-reduce.
Главы
Похожие доклады
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию
Инфраструктура Krea 2: обучение и обслуживание на больших масштабах
AI Engineer World's Fair 2026
Близко по содержанию
Оптимизация инференса LLM: от теории до экономичного развертывания
AI Engineer World's Fair 2024
Близко по содержанию
От 15% до 90% загрузки GPU: исправьте конвейер данных, а не модель
AI Engineer World's Fair 2026
Близко по содержанию
