Банк обучил собственную foundation model для выявления мошенничества
A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo
Wells Fargo обучил с нуля transformer на миллиардах транзакций клиентов, и по словам авторов эта модель обходит продакшен XGBoost в детекции фрода.
- Токенизация — главная работа — решающим оказалось, какие поля кодировать в токен: суммы, интервалы между транзакциями, почтовые индексы и категории, где полный словарь индексов слишком велик для обучения.
- Attention по истории клиента — модель связывает текущую транзакцию со всеми прошлыми, что XGBoost без хитрого кодирования не умеет. По словам спикера, это подняло долю выявленного фрода, снизило ложные срабатывания и дало экономию в миллионы долларов.
- Токенов нужно больше, чем по Chinchilla — первоначальная оценка по Chinchilla оказалась недостаточной: на каждый параметр пришлось подавать заметно больше токенов. Модель сейчас 1,1 млрд параметров, версия на 11 млрд в разработке.
Кому полезно: командам, которые строят модели на табличных событиях (платежи, логи, транзакции) и решают, стоит ли заменить XGBoost собственным backbone.
На какие вопросы отвечает доклад
Как превратить числа, категории и почтовые индексы в токены для трансформера на табличных данных?
Признаки группируют по смыслу и распределению, а не заводят токен на каждое значение: суммы, интервалы времени, почтовые индексы и категории кодируют в словарь ограниченного размера, затем берут эмбеддинг по ID. Спикер называет токенизацию главным вызовом и основным секретом подхода.
▶ 7:41Токенизация разнородных табличных данныхПочему XGBoost пропускает связь новой транзакции с историей клиента при детекции мошенничества?
Табличная модель теряет связь текущей транзакции с прошлыми, если её не закодировать вручную сложным способом. Трансформер через attention связывает транзакцию с историей, и спикер считает, что это подняло долю найденного мошенничества.
▶ 13:37Классификация мошенничества с учётом истории транзакцийКак убрать ручной подбор признаков при моделировании банковских транзакций?
Начали с сырых признаков по пяти измерениям: кто, что, каким каналом, когда и где. Из тысяч признаков оставили около сотни, а связи между ними трансформер выучивает сам.
▶ 5:41Измерения транзакций и исходные признакиПочему оценка Chinchilla по числу токенов на параметр не подошла для модели на транзакциях?
Стартовали с 20 токенов на параметр по Chinchilla, но эксперименты показали, что модели на транзакциях нужно заметно больше токенов на параметр. Модель имеет 1,1 млрд параметров, версия на 11 млрд в разработке.
▶ 10:07Архитектура декодера и эксперименты с масштабированиемКак проверить, что модель на транзакциях находит больше мошенничества и не растит ложных срабатываний?
По словам спикера, модель находит больше мошеннических операций и снижает число ложных срабатываний по сравнению с XGBoost, что дало экономию в миллионы долларов. Точных сравнительных процентов в докладе не приводится.
▶ 15:07Задержка авторизации и результаты обнаружения мошенничестваСтоит ли обучать базовую модель на транзакциях с нуля вместо дообучения открытых весов?
Спикер говорит, что взяли только архитектуру трансформера, а веса обучали с нуля на собственном GPU-кластере на транзакциях банка в течение нескольких дней и недель. Открытые табличные модели использовали как отправную точку для выбора архитектуры.
▶ 4:41Pre-training с нуля
Главы
Похожие доклады
Обучение Albatross: экспертной языковой модели для финансов
AI Engineer World's Fair 2024
Близко по содержанию
Может ли ИИ разобраться в проблемном кредите?
AI Engineer New York 2026
Близко по содержанию
Одна модель для всех рекомендаций: большая ставка Netflix
AI Engineer World's Fair 2025
Близко по содержанию
Маленькие модели, большие результаты: обучение финансового агента менее чем за $500
AI Engineer World's Fair 2026
Близко по содержанию
