← Каталог

· AI Engineer World's Fair 2024

Moondream: как такая маленькая vision-модель так круто справляется?

Moondream: how does a tiny vision model slap so hard?

Качество маленькой vision-модели определяют обучающие данные, а не размер: по словам автора, Moondream с меньше чем двумя миллиардами параметров сопоставима с моделями примерно в четыре раза крупнее.

  • Обучение на выводах GPT-4 вредит — маленькая модель учится выдумывать правдоподобные детали, которые не может запомнить. Автор советует сначала чистить данные: для подписей к COCO пришлось опираться на аннотации объектов, иначе GPT-4 добавлял несуществующих людей и яхты.
  • Данные важнее архитектуры — модель собрана из предобученных SigLIP и Phi-1.5, без обучения с нуля. По оценке автора, на генерацию данных ушло на один-два порядка больше вычислений, чем на обучение самой модели.
  • Данные под реальные запросы — в обучение добавляли опечатки и вопросы со строчной буквы в начале. Дистракторные вопросы разнообразили, потому что без этого модель начинала отвечать «нет» на любой вопрос про динозавров и инопланетян.
  • Текстовый запрос вместо своей модели — по словам автора, описать задачу по-английски дешевле, чем две недели собирать разметку и обучать YOLOv3.

Кому полезно: тем, кто выбирает компактную vision-модель для собственного хостинга или работы на устройстве, где важны стоимость и приватность.

Статья по теме

Главы

Похожие доклады