· AI Engineer World's Fair 2024
Практическое руководство по эффективному AI
A Practical Guide to Efficient AI
4-битная квантизация почти не снижает качество LLM и мультимодальных моделей, а небольшие модели после дообучения конкурируют с крупными: эффективность решает, выйдет ли AI из демо в продакшен.
- Маленькие модели — Phi-3-mini на 3,8 млрд параметров, по данным технического отчёта, обгоняет 7B-модель почти вдвое большего размера. По словам спикера, MobileLLM на 350 млн параметров после дообучения на уровне 7B на задачах.
- Квантизация весов — перевод весов с 32 или 16 бит на 4 бита заметно сокращает память и задержку до первого токена. На визуально-языковом тесте, по измерениям авторов, качество не изменилось, а при 3 битах упало, поэтому квантованную модель нужно оценивать перед деплоем.
- Инструменты — llama.cpp поддерживает квантизацию от 16 бит до 1,5 бита, ONNX Runtime даёт 8-битную. Готовые квантованные веса часто уже лежат на Hugging Face.
- MobileAIBench — open source фреймворк для оценки квантованных моделей по текстовым задачам, безопасности и vision-language. В комплекте iOS-приложение, которое измеряет задержку и расход батареи на устройстве.
Кому полезно: тем, кто запускает модели на собственном железе, on-prem или на устройствах с ограниченными ресурсами.
Статья по теме
Главы
Похожие доклады
Зачем большие? Маленькие языковые модели и agents на периферийных устройствах и в робототехнике
AI Engineer World's Fair 2026
Близко по содержанию
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Близко по содержанию
Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Близко по содержанию
Быстрая модель — действительно быстрее? Оценивайте весь процесс
Близко по содержанию

