← Каталог

· AI Engineer World's Fair 2026

Медик для Apache Spark: первая помощь при сбоях заданий

Medic for Apache Spark - First Aid for Failing Jobs - Drasko Profirovic, Pinterest

Диагностику падающих Spark-задач стоит строить как мультиагентную систему с регрессионными тестами на записанных ответах инструментов, а не одним большим промптом.

  • Один промпт не масштабируется — при доработке одной области деградировала другая. Разбиение на агентов с отдельными промптами и наборами инструментов дало контроль над поведением, а оптимизация Spark SQL добавилась новым промптом.
  • Тесты на записанных ответах — в режиме записи агент обращается к реальным системам и сохраняет ответы инструментов в репозиторий, а в режиме воспроизведения прогоняет анализ по ним и проверяет отчёт офлайн-оценками, например лимитом в три предлагаемых исправления.
  • Фильтр шумных исключений — классификатор учится, какие исключения часто встречаются в успешных запусках, и считает их ложными следами. Агент получает только top-K обрезанных исключений, поэтому меньше уходит в сторону от настоящей причины.
  • Метрики одним изображением — временные ряды превращаются в коллаж графиков, который анализирует отдельный субагент. Расход токенов не зависит от длительности джоба, а на графиках видны падения executors до нуля и длинные плато.

Кому полезно: тем, кто строит агентную диагностику для распределённых систем и хочет проверять её регрессии.

Статья по теме

Главы

Похожие доклады