← Каталог

· AI Engineer Europe 2026

Всё, что нужно знать о наблюдаемости AI-агентов

Everything You Need To Know About Agent Observability

Продакшен-агенты стоит мониторить по неявным сигналам вроде раздражения пользователя, отказов и провалов задач, потому что тесты и evals не покрывают их поведение.

  • Regex как дешёвый сигнал — список фраз вроде «this sucks» на большом числе пользователей даёт полезную динамику, даже если регулярка промахивается в отдельных случаях. По словам спикера, команда Claude Code отслеживала так частоту раздражения после каждого релиза.
  • Небольшие классификаторы вместо LLM на каждом выходе — авторы обучают модели на отказы, фрустрацию и провалы задач. По их оценке, LLM-судья на каждом ответе удвоил бы расходы на AI.
  • Эксперименты на части трафика — новую версию промпта выкатывают части пользователей и сравнивают с контрольной группой, а статистика начинает работать, когда набирается несколько сотен событий и читать их все вручную уже нельзя. По словам спикера, на демо доля раздражения упала с 37% до 9%.
  • Self-diagnostics — агенту дают инструмент report и строку в системном промпте, при этом модели неохотно признают ошибки, поэтому отчёт лучше описывать как обратную связь создателям. В демо агент после сбоя записи файла обошёл его через bash, и report это зафиксировал.

Кому полезно: тем, кто выводит в продакшен агентов с длинными многоходовыми сессиями и хочет находить проблемы без ручного чтения трасс.

Статья по теме

Главы

Ещё доклады: Ben Hylak

Страница спикера →

Похожие доклады