← Каталог

· AI Engineer World's Fair 2026

Обучаемые графы выполнения для обнаружения аномалий и дрейфа в API

Learned Execution Graphs for Anomaly Detection & Drift in APIs — Ritvik Pandya, JP Morgan Chase

Если представить обработку платёжного запроса как короткоживущий граф выполнения, можно локализовать задержку в отдельном узле и отличить разовую аномалию от дрейфа.

  • Двухуровневая проверка — запрос сначала сверяется с базовой линией всего пути, и только при отклонении запускается глубокий анализ по KL-дивергенции и экспоненциальному скользящему среднему. Так экономятся ресурсы и снижается число ложных тревог.
  • Базовые линии по клиентам и типам платежей — у каждого клиента и вида операций свой порог, например для платежей реального времени и wire-переводов. Общий порог для всех POST-запросов, по словам спикера, создаёт много шума.
  • Три типа дрейфа — структурный (добавлен или удалён узел), объёмный (сервис не справляется с нагрузкой) и ковариатный (выросла доля зарубежных запросов при неизменной системе). Каждый тип требует своего действия: масштабирования, асинхронного вызова или нового базового уровня.
  • Телеметрия вне критического пути — трейсы OpenTelemetry асинхронно уходят в Kafka с tail-based sampling; по словам спикера, время обнаружения проблем заметно сократилось. Изменения сначала раскатываются на 5–10% узлов, затем на все.

Кому полезно: тем, кто строит мониторинг синхронных API с множеством сервисов и хочет получать алерты с локализацией до конкретного узла.

Статья по теме

На какие вопросы отвечает доклад

  • Как понять, какой шаг обработки запроса тормозит, если общее время ответа выросло?

    Запрос описывается как DAG из узлов, у каждого узла своя базовая линия. Отклонение локализуется до конкретного узла, например сервиса курсов валют; если задержка во всех узлах, причина общая.

    ▶ 5:16Отклонения от базовых показателей и локализация первопричин на уровне узлов
  • Как отличить разовую аномалию в API от постепенного дрейфа задержек?

    Аномалия это единичное отклонение, дрейф это устойчивое изменение. Дрейф делят на структурный (добавлен или удалён шаг), нагрузочный (сервис не тянет объём) и ковариатный (сменился состав клиентов, например доля внешних запросов), и для каждого нужен свой ответ.

    ▶ 8:01Дрейф, изменяющиеся базовые показатели и ковариаты
  • Как уменьшить ложные алерты о задержках, если клиенты отличаются по времени ответа?

    Базовые линии строятся отдельно для каждого клиента и типа платежа, отклонения оцениваются через KL-дивергенцию и экспоненциальное скользящее среднее. Сначала проверка по сквозной базовой линии, глубокий анализ только при отклонении.

    ▶ 2:30Многоуровневые проверки, базовые показатели клиентов и расхождения
  • Как собирать трассировки из платёжного API, не замедляя обработку запросов?

    Данные OpenTelemetry отправляются асинхронно через Kafka, поверх работает потоковый анализ. Горячий путь даёт быстрое решение, а более медленный путь даёт точный разбор.

    ▶ 12:41Конвейеры OpenTelemetry, Kafka и асинхронная оценка
  • Как быстрее обнаруживать дрейф производительности, если окна сравнения получаются слишком длинными?

    Вместо нескольких окон используется одно окно и детектор ADWIN для подтверждения дрейфа, после чего проблема классифицируется. По словам спикера, это заметно сократило время обнаружения.

    ▶ 16:08Выборка, базовые показатели для платежей и объяснимость

Главы

Похожие доклады