· AI Engineer World's Fair 2026
Инфраструктура Krea 2: обучение и обслуживание на больших масштабах
Infra behind Krea 2 - How to train and serve at scale
Krea устроила так, что один Kubernetes-кластер отдаёт все GPU обучению, а продакшен-инференс на время переезжает к внешним провайдерам.
- Метрики, которым можно верить — загрузка GPU в 100% ничего не говорит об эффективности, поэтому спикер смотрит на загрузку tensor core. Метрики InfiniBand и NVLink DCGM по умолчанию не экспортирует, их пришлось собирать самостоятельно.
- Температура и чекпоинты — GPU выше 78 градусов удаляется из кластера без попыток починить. Чекпоинт каждые 20–30 минут на файловой системе Weka записывает около терабайта меньше чем за 30 секунд, поэтому сбои не сильно тормозят обучение.
- Приоритеты и перенос инференса — Kueue ставит обучение в очередь с gang scheduling и высоким приоритетом. Virtual Kubelet отправляет инференс к внешним провайдерам, а descheduler возвращает его обратно по мере освобождения GPU: NoExecute taint выбил бы все поды сразу и уронил бы продакшен.
- Ручные квоты — квоты очередей Kueue заводятся вручную и расходятся с реальным числом узлов, когда кластер меняется, а это ломает gang scheduling.
Кому полезно: тем, кто обучает или дообучает diffusion-модели на собственных GPU-кластерах и делит их между обучением и продакшеном.
Статья по теме
Главы
Похожие доклады
Ускорение обучения Mixture of Experts с помощью оптимизированной по rail-топологии сети InfiniBand в Crusoe Cloud
AI Engineer World's Fair 2024
Близко по содержанию
Инференс LLM в больших масштабах
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию

