· AI Engineer World's Fair 2025
Dream Machine: как масштабироваться до 1 млн пользователей за 4 дня
Dream Machine: Scaling to 1m users in 4 days — Keegan McCallum, Luma AI
Декаплированные GPU-воркеры, которые сами забирают задачи из общей очереди, и приоритизация по доле SLO позволили Luma, по словам автора, выдержать запуск Dream Machine на миллион пользователей за четыре дня.
- Декаплированные воркеры — CPU-воркеры готовят видео и мультимедиа и складывают их в Redis, а GPU подключаются откуда угодно через Tailscale при доступе к Redis и SeaweedFS. Это заменило ручной SSH, которым за шесть часов подняли около 5000 H100.
- Чистый PyTorch вместо Triton — Triton плохо работал с multi-node видеомоделями и несколькими чипами, поэтому команда написала свой стек на PyTorch. По словам автора, оптимизацией операций под новые чипы занимается отдельная команда примерно из 10 человек.
- Приоритет по доле SLO — задачи ранжируются по проценту прошедшего допустимого ожидания, поэтому API-задача, ждущая минуту, идёт наравне с Lite-задачей, ждущей 10 минут. До этого пользователи Lite ждали по 7–9 часов.
- Версии моделей как папки — каждая версия хранит checkpoint и полное Python-окружение, YAML-файл выбирает активную версию, а воркеры переключаются без перезапуска.
Кому полезно: тем, кто строит очереди инференса с несколькими тарифами и ограниченным парком GPU.
Статья по теме
На какие вопросы отвечает доклад
Почему Triton Inference Server плохо подходит для видеомоделей на нескольких GPU и нодах?
Triton падал незаметно для CPU-процессов, которые продолжали брать задачи и получали ошибки, а запуск на нескольких GPU и нодах ему не давался. Команда перешла на собственный стек поверх обычного PyTorch.
▶ 4:48Ограничения Triton при обслуживании моделей и гетерогенные ускорителиКак запускать одну модель на GPU разных производителей, например NVIDIA и AMD?
Опора на чистый PyTorch: вендоры поддерживают его для своих чипов, модель обычно запускается сразу, но медленнее. Команда из примерно десяти инженеров оптимизирует низкоуровневые операции вместе с производителями чипов.
▶ 15:22Вопросы аудитории: PyTorch, Kubernetes и визуальные вопросы и ответыКак не дать низкоприоритетным задачам ждать часами, когда GPU заняты платными тарифами?
Время ожидания для каждого тарифа задаёт продуктовая команда через SLO, а очередь сортирует задачи по доле исчерпанного SLO. Раньше при наивной приоритизации Lite-задачи ждали по 7–9 часов.
▶ 9:50Очереди с получением задач по запросу и время ожидания по уровням сервисаКак подключить GPU от разных облачных провайдеров к одной очереди задач без ручной настройки?
Воркеры забирают задачи из общей очереди в Redis и подключаются к хранилищу SeaweedFS через Tailscale, поэтому GPU у любого провайдера добавляется одной командой без ручного SSH.
▶ 4:48Ограничения Triton при обслуживании моделей и гетерогенные ускорителиКак обновить версию модели на тысячах GPU без перезапуска воркеров и откатиться назад?
Каждая версия модели с окружением Python лежит в объектном хранилище как неизменяемая папка, а YAML-файл в корне выбирает активную. Воркеры переключают версию на лету, откат делается правкой того же файла.
▶ 9:50Очереди с получением задач по запросу и время ожидания по уровням сервисаКак быстро добавить GPU, когда трафик в разы выше ожидаемого и очередь растёт?
Команда вручную подключалась по SSH к GPU всех доступных провайдеров и довела парк примерно до 5000 H100 за шесть часов. Очередь почти в 100 000 задач начала сокращаться около 14:00.
▶ 0:00Запуск Dream Machine и экстренное масштабирование на H100
Главы
Ещё доклады: Keegan McCallum
Страница спикера →Генеративное видео со скоростью света
AI Engineer World's Fair 2026
Похожие доклады
От 15% до 90% загрузки GPU: исправьте конвейер данных, а не модель
AI Engineer World's Fair 2026
Близко по содержанию
Почему MLX
AI Engineer Europe 2026
Близко по содержанию
Moondream: как такая маленькая vision-модель так круто справляется?
AI Engineer World's Fair 2024
Близко по содержанию

