· AI Engineer World's Fair 2026
Укрощая кембрийский взрыв AI-оборудования
Taming the AI Hardware Cambrian Explosion — Abdul Dakkak, Modular
Modular предлагает единый стек от языка Mojo до облачного сервиса, который, по словам автора, опережает vLLM на B200 и работает на разном железе.
- Mojo как переносимая альтернатива CUDA — Python-подобный язык для CPU, GPU и ускорителей; по словам спикера, по производительности он сопоставим с CUDA. Ядра, определения моделей и код сервинга открыты, а Mojo 1.0 и открытие самого языка обещаны в ближайшие месяцы.
- Prefill и decode на разном железе — MAX работает с несколькими GPU и узлами прямо из API, поэтому prefill можно выполнять на одном ускорителе, а decode на другом.
- Цифры против vLLM и torch.compile — по заявлению авторов, Kimi K2.5 на B200 даёт TTFT в 5,5 раза ниже и пропускную способность в 1,5 раза выше, чем vLLM; FLUX.2 примерно в 7 раз быстрее torch.compile с Diffusers.
- Стоимость на AMD — спикер называет четырёхкратный выигрыш на MI355, но сравнивать его с NVIDIA нужно с учётом цены: по его словам, AMD обычно примерно на 30% дешевле.
Кому полезно: тем, кто выбирает железо для инференса и не хочет привязываться к одному вендору GPU.
Статья по теме
Главы
Похожие доклады
Запуск LLM локально: практическая производительность на DGX Spark
AI Engineer Europe 2026
Близко по содержанию
Как создавали MiniMax M3: разреженное внимание и нативная мультимодальность
Близко по содержанию
Ключевой доклад: опыт разработки AI-приложений может быть лучше — почему и как мы создали Modal
AI Engineer Summit 2025
Близко по содержанию
Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Близко по содержанию

