Как построить собственный дата-центр для ИИ в 2025 году
How to Build Your Own AI Data Center in 2025
Сеть для обучения моделей в собственном дата-центре нужно строить изолированной и без oversubscription, потому что один медленный GPU тормозит весь кластер.
- Отдельная backend-сеть — GPU подключают к собственной фабрике leaf-spine, которую ничем другим не нагружают. По словам спикера, GPU используют всю полосу, которая им дана, и всплески трафика между ними идут на полной скорости.
- Балансировка по загрузке — обычный хеш по пяти полям плохо делит трафик GPU с одним IP, поэтому балансировку делают по проценту занятой полосы на восходящих портах. Спикер говорит, что так получается около 93% утилизации.
- ECN и PFC для RoCEv2 — ECN мягко замедляет отправителя по сигналу о перегрузке, а PFC полностью останавливает трафик при переполненных буферах. Буферы коммутатора стоит подстроить под размеры пакетов, которые передают модели.
- Телеметрия GPU и сети — агент на GPU сверяет настройки PFC и ECN с коммутатором и отдаёт RDMA-статистику, что помогает понять, виноват GPU или сеть.
Кому полезно: тем, кто проектирует сеть для кластера из GPU в enterprise-дата-центре и не знает, чем backend отличается от front-end сети.
Статья по теме
Главы
Похожие доклады
Ускорение обучения Mixture of Experts с помощью оптимизированной по rail-топологии сети InfiniBand в Crusoe Cloud
AI Engineer World's Fair 2024
Близко по содержанию
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию

