← Каталог

· AI Engineer World's Fair 2025

Dream Machine: как масштабироваться до 1 млн пользователей за 4 дня

Dream Machine: Scaling to 1m users in 4 days — Keegan McCallum, Luma AI

Декаплированные GPU-воркеры, которые сами забирают задачи из общей очереди, и приоритизация по доле SLO позволили Luma, по словам автора, выдержать запуск Dream Machine на миллион пользователей за четыре дня.

  • Декаплированные воркеры — CPU-воркеры готовят видео и мультимедиа и складывают их в Redis, а GPU подключаются откуда угодно через Tailscale при доступе к Redis и SeaweedFS. Это заменило ручной SSH, которым за шесть часов подняли около 5000 H100.
  • Чистый PyTorch вместо Triton — Triton плохо работал с multi-node видеомоделями и несколькими чипами, поэтому команда написала свой стек на PyTorch. По словам автора, оптимизацией операций под новые чипы занимается отдельная команда примерно из 10 человек.
  • Приоритет по доле SLO — задачи ранжируются по проценту прошедшего допустимого ожидания, поэтому API-задача, ждущая минуту, идёт наравне с Lite-задачей, ждущей 10 минут. До этого пользователи Lite ждали по 7–9 часов.
  • Версии моделей как папки — каждая версия хранит checkpoint и полное Python-окружение, YAML-файл выбирает активную версию, а воркеры переключаются без перезапуска.

Кому полезно: тем, кто строит очереди инференса с несколькими тарифами и ограниченным парком GPU.

Статья по теме

На какие вопросы отвечает доклад

Главы

Ещё доклады: Keegan McCallum

Страница спикера →

Похожие доклады