← Каталог

· AI Engineer World's Fair 2024

Практическое руководство по эффективному AI

A Practical Guide to Efficient AI

4-битная квантизация почти не снижает качество LLM и мультимодальных моделей, а небольшие модели после дообучения конкурируют с крупными: эффективность решает, выйдет ли AI из демо в продакшен.

  • Маленькие модели — Phi-3-mini на 3,8 млрд параметров, по данным технического отчёта, обгоняет 7B-модель почти вдвое большего размера. По словам спикера, MobileLLM на 350 млн параметров после дообучения на уровне 7B на задачах.
  • Квантизация весов — перевод весов с 32 или 16 бит на 4 бита заметно сокращает память и задержку до первого токена. На визуально-языковом тесте, по измерениям авторов, качество не изменилось, а при 3 битах упало, поэтому квантованную модель нужно оценивать перед деплоем.
  • Инструменты — llama.cpp поддерживает квантизацию от 16 бит до 1,5 бита, ONNX Runtime даёт 8-битную. Готовые квантованные веса часто уже лежат на Hugging Face.
  • MobileAIBench — open source фреймворк для оценки квантованных моделей по текстовым задачам, безопасности и vision-language. В комплекте iOS-приложение, которое измеряет задержку и расход батареи на устройстве.

Кому полезно: тем, кто запускает модели на собственном железе, on-prem или на устройствах с ограниченными ресурсами.

Статья по теме

Главы

Похожие доклады