← Каталог

· AI Engineer World's Fair 2024

Llamafile: ИИ для всех благодаря быстрому инференсу на CPU

Llamafile: bringing AI to the masses with fast CPU inference

Llamafile упаковывает модель в один исполняемый файл, а оптимизации CPU, по словам авторов, ускоряют инференс на 30–500% в зависимости от процессора и модели.

  • Разворот внешнего цикла — при умножении матриц разворачивать нужно внешний цикл, а не внутренний, и именно это ускоряет обработку промпта. По словам авторов, на Alder Lake прирост составил четыре раза.
  • Квантизованные форматы — по словам авторов, квантизованные модели на x86 и ARM стали работать в 2–4 раза быстрее, что важно для тех, кто запускает модели локально.
  • Без cuBLAS — библиотека tinyBLAS позволяет поставлять LLM под Windows без SDK и без блоба примерно в 500 МБ, достаточно установленного драйвера GPU.
  • Большие модели на CPU — оперативная память дешевле видеокарты, и авторы сообщают о запуске Mixtral 8x22B на процессоре за 350 долларов; ответ при этом приходит заметно медленнее.

Кому полезно: тем, кто запускает модели локально без облака и GPU, например для суммаризации приватных документов.

Доклад цитируется в статьях

Главы

Похожие доклады