← Каталог

· AI Engineer World's Fair 2024

Как повысить продуктивность разработчиков на CPU и GPU с MAX

Unlocking Developer Productivity across CPU and GPU with MAX

Единый стек MAX и язык Mojo с Python-синтаксисом, по словам Modular, заменяют фрагментированные inference-фреймворки и дают прирост скорости на CPU и GPU.

  • Один стек вместо набора фреймворков — MAX принимает модели PyTorch, ONNX и TorchScript без переделки, а cuDNN и библиотеки NVIDIA и Intel заменяет собственными компиляторами и ядрами. Доклад в основном презентация продукта, но сам подход можно оценить и отдельно от него.
  • INT4-квантизация на CPU — по словам авторов, новый релиз в пять раз быстрее llama.cpp на облачных CPU, а механизм сделан обобщённым, а не под одну модель.
  • Сравнение с вендорскими библиотеками на GPU — умножение матриц сравнивали с cuBLAS и CUTLASS, и, по словам авторов, MAX их немного обгоняет; спикер сам говорит, что данные сложные.
  • Mojo для горячего кода — синтаксис Python, но, по словам авторов, код на нём в сотни и тысячи раз быстрее обычного Python; пример — токенизатор Llama 3 с циклами и связными списками.

Кому полезно: тем, кто разворачивает модели у себя из-за данных, безопасности или стоимости инференса и хочет переносимости между CPU и GPU.

Статья по теме

Главы

Похожие доклады