GPU вышел из строя. Обучение продолжилось: самовосстановление на масштабе
GPU Died. Training Didn't: Self-Healing Training at Scale — Crusoe
Slurm поверх Kubernetes позволяет при отказе GPU автоматически заменить узел и продолжить обучение с checkpoint без действий инженера.
- Slurm поверх Kubernetes — исследователи продолжают работать через
sbatchиsrun, а платформенная команда использует уже существующие инструменты мониторинга и инфраструктуры. GPU-узлы можно переводить между обучением и инференсом. - Восстановление после ошибки GPU — при Xid 79 узел помечается down, задачи ставятся обратно в очередь, а приложение загружает checkpoint. Перед заменой система проверяет метки, отключающие автозамену, и делает cordon и drain узла.
- Сроки на демо — по словам авторов, замена узла занимает около пяти минут, а весь цикл с перезапуском приложения укладывается примерно в 15 минут. Это примерные цифры для двух узлов A100, а не гарантия восстановления.
Кому полезно: тем, кто ведёт обучение на большом парке GPU и хочет, чтобы отказ железа не требовал ночной отладки.
Статья по теме
Главы
Похожие доклады
Инфраструктура Krea 2: обучение и обслуживание на больших масштабах
AI Engineer World's Fair 2026
Близко по содержанию
Хватит гадать с настройками vLLM: бенчмаркинг LLM на Runpod
Близко по содержанию
Почему AI-стартапы исчезнут без рынков вычислительных мощностей
Близко по содержанию
Тот же GPU — на 50% больше результата: почему важен оператор
Близко по содержанию

