← Каталог

· AI Engineer Summit 2023

120 тысяч игроков за неделю: уроки первого вирусного приложения на CLIP

120k players in a week: Lessons from the first viral CLIP app

CLIP с cosine similarity оценивает рисунки без заранее заданного списка классов, и по словам спикера на этом построили игру с 120 тысячами игроков за первую неделю.

  • Открытый набор понятий — промпт и рисунок переводятся в одно пространство эмбеддингов, а победитель определяется по близости к промпту. Сходства у CLIP лежат в узком диапазоне, поэтому их стоит растянуть до понятной шкалы от 0 до 100 перед показом пользователю.
  • CLIP читает текст на рисунках — участники писали слова прямо на картинках и получали высокие баллы. Защита простая: если изображение ближе к рукописному тексту, чем к промпту, балл снижается.
  • Модерация тем же CLIP — zero-shot сравнение с описаниями небезопасного контента блокировало неподходящие рисунки. По словам спикера, пользователи обходили фильтр, добавляя посторонние элементы к нужному промпту, поэтому это постоянная игра в кошки-мышки.

Кому полезно: тем, кто делает приложения, где незнакомцы загружают изображения, и хочет оценивать или фильтровать их через CLIP без обучения своего классификатора.

Главы

Похожие доклады