← Каталог

· AI Engineer World's Fair 2026

Укрощая кембрийский взрыв AI-оборудования

Taming the AI Hardware Cambrian Explosion — Abdul Dakkak, Modular

Modular предлагает единый стек от языка Mojo до облачного сервиса, который, по словам автора, опережает vLLM на B200 и работает на разном железе.

  • Mojo как переносимая альтернатива CUDA — Python-подобный язык для CPU, GPU и ускорителей; по словам спикера, по производительности он сопоставим с CUDA. Ядра, определения моделей и код сервинга открыты, а Mojo 1.0 и открытие самого языка обещаны в ближайшие месяцы.
  • Prefill и decode на разном железе — MAX работает с несколькими GPU и узлами прямо из API, поэтому prefill можно выполнять на одном ускорителе, а decode на другом.
  • Цифры против vLLM и torch.compile — по заявлению авторов, Kimi K2.5 на B200 даёт TTFT в 5,5 раза ниже и пропускную способность в 1,5 раза выше, чем vLLM; FLUX.2 примерно в 7 раз быстрее torch.compile с Diffusers.
  • Стоимость на AMD — спикер называет четырёхкратный выигрыш на MI355, но сравнивать его с NVIDIA нужно с учётом цены: по его словам, AMD обычно примерно на 30% дешевле.

Кому полезно: тем, кто выбирает железо для инференса и не хочет привязываться к одному вендору GPU.

Статья по теме

Главы

Похожие доклады