· AI Engineer World's Fair 2024
Moondream: как такая маленькая vision-модель так круто справляется?
Moondream: how does a tiny vision model slap so hard?
Качество маленькой vision-модели определяют обучающие данные, а не размер: по словам автора, Moondream с меньше чем двумя миллиардами параметров сопоставима с моделями примерно в четыре раза крупнее.
- Обучение на выводах GPT-4 вредит — маленькая модель учится выдумывать правдоподобные детали, которые не может запомнить. Автор советует сначала чистить данные: для подписей к COCO пришлось опираться на аннотации объектов, иначе GPT-4 добавлял несуществующих людей и яхты.
- Данные важнее архитектуры — модель собрана из предобученных SigLIP и Phi-1.5, без обучения с нуля. По оценке автора, на генерацию данных ушло на один-два порядка больше вычислений, чем на обучение самой модели.
- Данные под реальные запросы — в обучение добавляли опечатки и вопросы со строчной буквы в начале. Дистракторные вопросы разнообразили, потому что без этого модель начинала отвечать «нет» на любой вопрос про динозавров и инопланетян.
- Текстовый запрос вместо своей модели — по словам автора, описать задачу по-английски дешевле, чем две недели собирать разметку и обучать YOLOv3.
Кому полезно: тем, кто выбирает компактную vision-модель для собственного хостинга или работы на устройстве, где важны стоимость и приватность.
Статья по теме
Главы
Похожие доклады
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
Подробный разбор Gemma 4
AI Engineer Europe 2026
Близко по содержанию
Как создавали MiniMax M3: разреженное внимание и нативная мультимодальность
Близко по содержанию
Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Близко по содержанию

