← Каталог

· AI Engineer World's Fair 2026

Обнаружение и устранение сбоев ETL-пайплайнов с помощью агента на основе RL

Using RL-based Agent to Detect and Remediate ETL Pipeline Failures

Для сбоев ETL-пайплайнов в AWS Glue предложена связка: правила фиксируют факты, Q-learning выбирает одно из шести ограниченных действий, а слой безопасности стоит вне политики и может запретить автоматическое действие.

  • Разделение ответственности — профайлер схемы, детектор дрейфа и классификатор ошибок по логам дают наблюдаемые факты, RL выбирает действие, а при критичной аномалии пассивное действие превращается в эскалацию. Так обновление политики не может расширить собственные полномочия.
  • Эскалация как штатный исход — если система не может выполнить предложенное действие, она записывает его, сообщает о недоступности и передаёт кейс людям, а не делает вид, что сбой устранён.
  • Честный результат абляции — по словам автора, RL-политика совпала с эквивалентной детерминированной по успешности, а детерминированный выбор обошёл случайный на 15,63 пункта. Польза RL пока в проверяемой модели решений, а не в преимуществе по успешности.
  • Цифры на синтетике — на контролируемом бенчмарке precision 1.0, recall 0.8, F1 0.889, успешно закрытые кейсы занимают около 5,24 минуты против смоделированных 2,5 рабочих дня ручного процесса. Продакшен-проверки ещё впереди; код и бенчмарк открыты в репозитории на GitHub.

Кому полезно: тем, кто автоматизирует реагирование на сбои в data pipelines и хочет понять, где заканчивается автономия агента.

Статья по теме

Главы

Похожие доклады