← Каталог

Банк обучил собственную foundation model для выявления мошенничества

A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo

Wells Fargo обучил с нуля transformer на миллиардах транзакций клиентов, и по словам авторов эта модель обходит продакшен XGBoost в детекции фрода.

  • Токенизация — главная работа — решающим оказалось, какие поля кодировать в токен: суммы, интервалы между транзакциями, почтовые индексы и категории, где полный словарь индексов слишком велик для обучения.
  • Attention по истории клиента — модель связывает текущую транзакцию со всеми прошлыми, что XGBoost без хитрого кодирования не умеет. По словам спикера, это подняло долю выявленного фрода, снизило ложные срабатывания и дало экономию в миллионы долларов.
  • Токенов нужно больше, чем по Chinchilla — первоначальная оценка по Chinchilla оказалась недостаточной: на каждый параметр пришлось подавать заметно больше токенов. Модель сейчас 1,1 млрд параметров, версия на 11 млрд в разработке.

Кому полезно: командам, которые строят модели на табличных событиях (платежи, логи, транзакции) и решают, стоит ли заменить XGBoost собственным backbone.

На какие вопросы отвечает доклад

  • Как превратить числа, категории и почтовые индексы в токены для трансформера на табличных данных?

    Признаки группируют по смыслу и распределению, а не заводят токен на каждое значение: суммы, интервалы времени, почтовые индексы и категории кодируют в словарь ограниченного размера, затем берут эмбеддинг по ID. Спикер называет токенизацию главным вызовом и основным секретом подхода.

    ▶ 7:41Токенизация разнородных табличных данных
  • Почему XGBoost пропускает связь новой транзакции с историей клиента при детекции мошенничества?

    Табличная модель теряет связь текущей транзакции с прошлыми, если её не закодировать вручную сложным способом. Трансформер через attention связывает транзакцию с историей, и спикер считает, что это подняло долю найденного мошенничества.

    ▶ 13:37Классификация мошенничества с учётом истории транзакций
  • Как убрать ручной подбор признаков при моделировании банковских транзакций?

    Начали с сырых признаков по пяти измерениям: кто, что, каким каналом, когда и где. Из тысяч признаков оставили около сотни, а связи между ними трансформер выучивает сам.

    ▶ 5:41Измерения транзакций и исходные признаки
  • Почему оценка Chinchilla по числу токенов на параметр не подошла для модели на транзакциях?

    Стартовали с 20 токенов на параметр по Chinchilla, но эксперименты показали, что модели на транзакциях нужно заметно больше токенов на параметр. Модель имеет 1,1 млрд параметров, версия на 11 млрд в разработке.

    ▶ 10:07Архитектура декодера и эксперименты с масштабированием
  • Как проверить, что модель на транзакциях находит больше мошенничества и не растит ложных срабатываний?

    По словам спикера, модель находит больше мошеннических операций и снижает число ложных срабатываний по сравнению с XGBoost, что дало экономию в миллионы долларов. Точных сравнительных процентов в докладе не приводится.

    ▶ 15:07Задержка авторизации и результаты обнаружения мошенничества
  • Стоит ли обучать базовую модель на транзакциях с нуля вместо дообучения открытых весов?

    Спикер говорит, что взяли только архитектуру трансформера, а веса обучали с нуля на собственном GPU-кластере на транзакциях банка в течение нескольких дней и недель. Открытые табличные модели использовали как отправную точку для выбора архитектуры.

    ▶ 4:41Pre-training с нуля

Главы

Похожие доклады