← Каталог

· AI Engineer Summit 2025

Как построить собственный дата-центр для ИИ в 2025 году

How to Build Your Own AI Data Center in 2025

Сеть для обучения моделей в собственном дата-центре нужно строить изолированной и без oversubscription, потому что один медленный GPU тормозит весь кластер.

  • Отдельная backend-сеть — GPU подключают к собственной фабрике leaf-spine, которую ничем другим не нагружают. По словам спикера, GPU используют всю полосу, которая им дана, и всплески трафика между ними идут на полной скорости.
  • Балансировка по загрузке — обычный хеш по пяти полям плохо делит трафик GPU с одним IP, поэтому балансировку делают по проценту занятой полосы на восходящих портах. Спикер говорит, что так получается около 93% утилизации.
  • ECN и PFC для RoCEv2 — ECN мягко замедляет отправителя по сигналу о перегрузке, а PFC полностью останавливает трафик при переполненных буферах. Буферы коммутатора стоит подстроить под размеры пакетов, которые передают модели.
  • Телеметрия GPU и сети — агент на GPU сверяет настройки PFC и ECN с коммутатором и отдаёт RDMA-статистику, что помогает понять, виноват GPU или сеть.

Кому полезно: тем, кто проектирует сеть для кластера из GPU в enterprise-дата-центре и не знает, чем backend отличается от front-end сети.

Статья по теме

Главы

Похожие доклады