← Каталог

· AI Engineer World's Fair 2024

Передовые решения на базе AI для доверия и безопасности: борьба с разными видами вредоносной активности на Tinder в масштабе

AI Frontiers in Trust and Safety: Combatting Multifaceted Harm on Tinder at Scale

Для детекции нарушений в trust and safety, по словам автора, выгоднее дообучать открытые LLM на LoRA-адаптерах и обслуживать их через LoRAX, чем вызывать API.

  • Дообучение вместо API — Tinder не вызывает GPT-4 в продакшене из-за стоимости, задержек и масштаба; дообученные открытые модели, по словам автора, в ряде задач обгоняют few-shot GPT-4, а веса остаются под контролем для переобучения.
  • Датасет через GPT-4 и ручную проверку — модель размечает внутренние аналитические данные, а люди исправляют ошибки и разбирают спорные случаи; для дообучения хватает сотен–тысяч примеров.
  • Тысячи адаптеров на одном GPU — LoRAX батчит запросы к разным адаптерам на одной базовой модели; новый адаптер весит мегабайты, поэтому его добавочная стоимость, по словам автора, почти нулевая.
  • Медленнее устаревание — LLM лучше понимают опечатки, смешение букв и цифр и намёки, которыми обходят фильтры, поэтому модели теряют точность медленнее классических ML-моделей.

Кому полезно: тем, кто строит классификаторы модерации или фрода на открытых моделях и считает стоимость инференса.

Статья по теме

Главы

Похожие доклады