· AI Engineer World's Fair 2024
Llamafile: ИИ для всех благодаря быстрому инференсу на CPU
Llamafile: bringing AI to the masses with fast CPU inference
Llamafile упаковывает модель в один исполняемый файл, а оптимизации CPU, по словам авторов, ускоряют инференс на 30–500% в зависимости от процессора и модели.
- Разворот внешнего цикла — при умножении матриц разворачивать нужно внешний цикл, а не внутренний, и именно это ускоряет обработку промпта. По словам авторов, на Alder Lake прирост составил четыре раза.
- Квантизованные форматы — по словам авторов, квантизованные модели на x86 и ARM стали работать в 2–4 раза быстрее, что важно для тех, кто запускает модели локально.
- Без cuBLAS — библиотека tinyBLAS позволяет поставлять LLM под Windows без SDK и без блоба примерно в 500 МБ, достаточно установленного драйвера GPU.
- Большие модели на CPU — оперативная память дешевле видеокарты, и авторы сообщают о запуске Mixtral 8x22B на процессоре за 350 долларов; ответ при этом приходит заметно медленнее.
Кому полезно: тем, кто запускает модели локально без облака и GPU, например для суммаризации приватных документов.
Доклад цитируется в статьях
Главы
Похожие доклады
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Близко по содержанию
Запуск Gemma 4 на iPhone: 40 токенов/с с MLX
AI Engineer Europe 2026
Близко по содержанию
Стоит ли использовать speculative decoding? Профилирование vLLM на NVIDIA Blackwell
AI Engineer World's Fair 2026
Близко по содержанию
Как сделать открытые модели в 10 раз быстрее и лучше для современных приложений
Dmytro (Dima) Dzhulgakov, Lin Qiao
AI Engineer World's Fair 2024
Близко по содержанию


