· AI Engineer World's Fair 2024
Как повысить продуктивность разработчиков на CPU и GPU с MAX
Unlocking Developer Productivity across CPU and GPU with MAX
Единый стек MAX и язык Mojo с Python-синтаксисом, по словам Modular, заменяют фрагментированные inference-фреймворки и дают прирост скорости на CPU и GPU.
- Один стек вместо набора фреймворков — MAX принимает модели PyTorch, ONNX и TorchScript без переделки, а cuDNN и библиотеки NVIDIA и Intel заменяет собственными компиляторами и ядрами. Доклад в основном презентация продукта, но сам подход можно оценить и отдельно от него.
- INT4-квантизация на CPU — по словам авторов, новый релиз в пять раз быстрее llama.cpp на облачных CPU, а механизм сделан обобщённым, а не под одну модель.
- Сравнение с вендорскими библиотеками на GPU — умножение матриц сравнивали с cuBLAS и CUTLASS, и, по словам авторов, MAX их немного обгоняет; спикер сам говорит, что данные сложные.
- Mojo для горячего кода — синтаксис Python, но, по словам авторов, код на нём в сотни и тысячи раз быстрее обычного Python; пример — токенизатор Llama 3 с циклами и связными списками.
Кому полезно: тем, кто разворачивает модели у себя из-за данных, безопасности или стоимости инференса и хочет переносимости между CPU и GPU.
Статья по теме
Главы
Похожие доклады
Запуск Covalent: чит-код для GPU — fine-tune 20 моделей Llama за 5 минут
AI Engineer World's Fair 2024
Близко по содержанию
Как создавали MiniMax M3: разреженное внимание и нативная мультимодальность
Близко по содержанию
Преодоление гигагерцевого барьера в ИИ
AI Engineer World's Fair 2024
Близко по содержанию
Llamafile: ИИ для всех благодаря быстрому инференсу на CPU
AI Engineer World's Fair 2024
Близко по содержанию

