← Каталог

· AI Engineer Code 2025

GPU вышел из строя. Обучение продолжилось: самовосстановление на масштабе

GPU Died. Training Didn't: Self-Healing Training at Scale — Crusoe

Slurm поверх Kubernetes позволяет при отказе GPU автоматически заменить узел и продолжить обучение с checkpoint без действий инженера.

  • Slurm поверх Kubernetes — исследователи продолжают работать через sbatch и srun, а платформенная команда использует уже существующие инструменты мониторинга и инфраструктуры. GPU-узлы можно переводить между обучением и инференсом.
  • Восстановление после ошибки GPU — при Xid 79 узел помечается down, задачи ставятся обратно в очередь, а приложение загружает checkpoint. Перед заменой система проверяет метки, отключающие автозамену, и делает cordon и drain узла.
  • Сроки на демо — по словам авторов, замена узла занимает около пяти минут, а весь цикл с перезапуском приложения укладывается примерно в 15 минут. Это примерные цифры для двух узлов A100, а не гарантия восстановления.

Кому полезно: тем, кто ведёт обучение на большом парке GPU и хочет, чтобы отказ железа не требовал ночной отладки.

Статья по теме

Главы

Похожие доклады