· AI Engineer World's Fair 2026
Медик для Apache Spark: первая помощь при сбоях заданий
Medic for Apache Spark - First Aid for Failing Jobs - Drasko Profirovic, Pinterest
Диагностику падающих Spark-задач стоит строить как мультиагентную систему с регрессионными тестами на записанных ответах инструментов, а не одним большим промптом.
- Один промпт не масштабируется — при доработке одной области деградировала другая. Разбиение на агентов с отдельными промптами и наборами инструментов дало контроль над поведением, а оптимизация Spark SQL добавилась новым промптом.
- Тесты на записанных ответах — в режиме записи агент обращается к реальным системам и сохраняет ответы инструментов в репозиторий, а в режиме воспроизведения прогоняет анализ по ним и проверяет отчёт офлайн-оценками, например лимитом в три предлагаемых исправления.
- Фильтр шумных исключений — классификатор учится, какие исключения часто встречаются в успешных запусках, и считает их ложными следами. Агент получает только top-K обрезанных исключений, поэтому меньше уходит в сторону от настоящей причины.
- Метрики одним изображением — временные ряды превращаются в коллаж графиков, который анализирует отдельный субагент. Расход токенов не зависит от длительности джоба, а на графиках видны падения executors до нуля и длинные плато.
Кому полезно: тем, кто строит агентную диагностику для распределённых систем и хочет проверять её регрессии.
Статья по теме
Главы
Похожие доклады
Почему мы отказались от нашего multi-agent-пайплайна
Abhilash Asokan, Subbiah Sethuraman
AI Engineer World's Fair 2026
Близко по содержанию
Обнаружение и устранение сбоев ETL-пайплайнов с помощью агента на основе RL
AI Engineer World's Fair 2026
Близко по содержанию
Ваш MCP-сервер плох — и вам должно быть стыдно
AI Engineer Code 2025
Близко по содержанию
Вашим агентам нужна кнопка сохранения
AI Engineer World's Fair 2026
Близко по содержанию

