Всё, что нужно знать о наблюдаемости AI-агентов
Everything You Need To Know About Agent Observability
Продакшен-агенты стоит мониторить по неявным сигналам вроде раздражения пользователя, отказов и провалов задач, потому что тесты и evals не покрывают их поведение.
- Regex как дешёвый сигнал — список фраз вроде «this sucks» на большом числе пользователей даёт полезную динамику, даже если регулярка промахивается в отдельных случаях. По словам спикера, команда Claude Code отслеживала так частоту раздражения после каждого релиза.
- Небольшие классификаторы вместо LLM на каждом выходе — авторы обучают модели на отказы, фрустрацию и провалы задач. По их оценке, LLM-судья на каждом ответе удвоил бы расходы на AI.
- Эксперименты на части трафика — новую версию промпта выкатывают части пользователей и сравнивают с контрольной группой, а статистика начинает работать, когда набирается несколько сотен событий и читать их все вручную уже нельзя. По словам спикера, на демо доля раздражения упала с 37% до 9%.
- Self-diagnostics — агенту дают инструмент
reportи строку в системном промпте, при этом модели неохотно признают ошибки, поэтому отчёт лучше описывать как обратную связь создателям. В демо агент после сбоя записи файла обошёл его через bash, иreportэто зафиксировал.
Кому полезно: тем, кто выводит в продакшен агентов с длинными многоходовыми сессиями и хочет находить проблемы без ручного чтения трасс.
Статья по теме
Главы
Ещё доклады: Ben Hylak
Страница спикера →Эпоха продуктов без границ: дизайн мультимодального ввода-вывода
AI Engineer World's Fair 2024
Создание агентов: важнее надёжный минимум, чем рекордный максимум
AI Engineer World's Fair 2026
Как создавать работающие AI-продукты
AI Engineer World's Fair 2025
Похожие доклады
Платформа observability, оценки и экспериментов для LLM
AI Engineer Europe 2026
Близко по содержанию
Как мы создали агента, который сам себя улучшает
AI Engineer World's Fair 2026
Близко по содержанию
Продвинутый практикум по наблюдаемости AI
AI Engineer World's Fair 2026
Близко по содержанию



