· AI Engineer World's Fair 2024
Передовые решения на базе AI для доверия и безопасности: борьба с разными видами вредоносной активности на Tinder в масштабе
AI Frontiers in Trust and Safety: Combatting Multifaceted Harm on Tinder at Scale
Для детекции нарушений в trust and safety, по словам автора, выгоднее дообучать открытые LLM на LoRA-адаптерах и обслуживать их через LoRAX, чем вызывать API.
- Дообучение вместо API — Tinder не вызывает GPT-4 в продакшене из-за стоимости, задержек и масштаба; дообученные открытые модели, по словам автора, в ряде задач обгоняют few-shot GPT-4, а веса остаются под контролем для переобучения.
- Датасет через GPT-4 и ручную проверку — модель размечает внутренние аналитические данные, а люди исправляют ошибки и разбирают спорные случаи; для дообучения хватает сотен–тысяч примеров.
- Тысячи адаптеров на одном GPU — LoRAX батчит запросы к разным адаптерам на одной базовой модели; новый адаптер весит мегабайты, поэтому его добавочная стоимость, по словам автора, почти нулевая.
- Медленнее устаревание — LLM лучше понимают опечатки, смешение букв и цифр и намёки, которыми обходят фильтры, поэтому модели теряют точность медленнее классических ML-моделей.
Кому полезно: тем, кто строит классификаторы модерации или фрода на открытых моделях и считает стоимость инференса.
Статья по теме
Главы
Похожие доклады
Как создавать надёжный ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Всё, что нужно знать о fine-tuning и объединении LLM
AI Engineer World's Fair 2024
Близко по содержанию
Доверяй, но проверяй
AI Engineer Summit 2023
Близко по содержанию
Банк обучил собственную foundation model для выявления мошенничества
Близко по содержанию

