← Каталог

· AI Engineer World's Fair 2026

Инфраструктура Krea 2: обучение и обслуживание на больших масштабах

Infra behind Krea 2 - How to train and serve at scale

Krea устроила так, что один Kubernetes-кластер отдаёт все GPU обучению, а продакшен-инференс на время переезжает к внешним провайдерам.

  • Метрики, которым можно верить — загрузка GPU в 100% ничего не говорит об эффективности, поэтому спикер смотрит на загрузку tensor core. Метрики InfiniBand и NVLink DCGM по умолчанию не экспортирует, их пришлось собирать самостоятельно.
  • Температура и чекпоинты — GPU выше 78 градусов удаляется из кластера без попыток починить. Чекпоинт каждые 20–30 минут на файловой системе Weka записывает около терабайта меньше чем за 30 секунд, поэтому сбои не сильно тормозят обучение.
  • Приоритеты и перенос инференса — Kueue ставит обучение в очередь с gang scheduling и высоким приоритетом. Virtual Kubelet отправляет инференс к внешним провайдерам, а descheduler возвращает его обратно по мере освобождения GPU: NoExecute taint выбил бы все поды сразу и уронил бы продакшен.
  • Ручные квоты — квоты очередей Kueue заводятся вручную и расходятся с реальным числом узлов, когда кластер меняется, а это ломает gang scheduling.

Кому полезно: тем, кто обучает или дообучает diffusion-модели на собственных GPU-кластерах и делит их между обучением и продакшеном.

Статья по теме

Главы

Похожие доклады