← Каталог

· AI Engineer World's Fair 2026

Проблема не в навыках: не деплойте vision language models — используйте их с Skills

Skill issue: stop deploying vision language models, use them with Skills — Merve Noyan, Hugging Face

Vision language models годятся для разметки и проверки данных, а сам детектор стоит обучать отдельно на этой разметке, выбирая модель с лицензией Apache 2.0.

  • Два судьи вместо оценки по баллам — vision language models проверяют рамки, нарисованные поверх картинки, и отвечают только да или нет. Пример оставляют, если его одобрил хотя бы один судья: по словам спикера, пересечение согласий оставило бы слишком мало данных, потому что LFM 2.5VL отклоняет много примеров.
  • Аугментации нужно ограничивать — кодинг-агент предлагал горизонтальное отражение для дорожных знаков и дрожание цвета для светофоров, что портит разметку. Спикер добавил в пайплайн выбор: аугментировать или нет.
  • Детектор находит то, что пропустила разметка — на парсинге документов RF-DETR обнаружил подпись, которую пропустила разметка Qwen. На дорожных знаках результат, по словам спикера, немного отстаёт от ручной разметки.
  • Весь пайплайн около трёх-четырёх долларов — по оценке спикера, разметка, проверка и обучение укладываются в такую сумму: разметка через serverless-инференс, проверка на Hugging Face Jobs.

Кому полезно: тем, кто строит детектор под свою задачу без размеченных данных и хочет заменить vision language model в продакшене компактной моделью.

Главы

Ещё доклады: Merve Noyan

Страница спикера →

Похожие доклады