← Каталог

· AI Engineer Summit 2025

DevOps-инженер, который никогда не спит

The Devops Engineer Who Never Sleeps

Агенты Datadog для on-call и разработки разбирают алерты и ошибки сами, а сложнее всего, по словам авторов, оказалась оценка качества.

  • Расследование алертов — агент строит гипотезы и проверяет их запросами к логам, метрикам и трейсам; интерфейс показывает, какие шаги runbook он выполнил, и это помогает постепенно доверять ему.
  • Оценка на узких задачах — вертикальных агентов под конкретную задачу проще измерить, чем универсальных; эксперты проверяют результат, а не пишут правила, а оценка ведётся офлайн, онлайн и на живом тестовом наборе.
  • Исправление с регрессионным тестом — агент AI Software Engineer находит причину ошибки, предлагает фикс и тест на повтор; результат можно отправить PR на GitHub или открыть в Visual Studio Code.
  • Граф вызовов агента — у агента бывают сотни вызовов моделей и инструментов, поэтому в LLM Observability его показывают графом, где подсвечен узел с ошибкой.

Кому полезно: тем, кто строит агентов для on-call и хочет понять, как их оценивать; доклад во многом презентация продукта Datadog, а агенты пока в private beta.

Статья по теме

Главы

Похожие доклады