Чем o11y для агентов отличается от традиционной o11y
How agent o11y differs from traditional o11y
Наблюдаемость агентов отличается от классического мониторинга тем, что смотрит на качество ответов, а не только на аптайм и латентность, и это требует другого хранения и поиска по трейсам.
- Объём трейсов — по словам спикера, трейс агента может весить больше гигабайта, а один span достигать 20 МБ, поэтому обычные инструменты метрик для этого не подходят.
- Хранение и поиск — спикер описывает собственную базу с write-ahead log для мгновенной видимости трейсов, полнотекстовым индексом Tantivy (Rust-аналог Apache Lucene) и доступом через SQL. По его словам, до этого использовали ClickHouse, но ему не хватало текстовых индексов.
- Экспертная разметка — специалисты предметной области, например медики или юристы, ставят оценки и объясняют их. Из этих объяснений через LLM строятся автоматические скоринг-функции.
- Кластеризация трейсов — эмбеддинги и кластеризация показывают, с какими намерениями приходят пользователи и где возникают проблемы. Функция в SaaS запущена недавно.
Кому полезно: тем, кто выводит агентов в продакшен и хочет находить причины плохих ответов в трейсах, а не только следить за uptime.
Статья по теме
На какие вопросы отвечает доклад
Чем мониторинг качества агента отличается от обычного мониторинга uptime и латентности?
Обычный мониторинг проверяет доступность, латентность и ошибки, а у недетерминированных агентов нужно оценивать обоснованность ответа, использование инструментов и соответствие системному промпту. Для этого трейсы гораздо объёмнее.
▶ 4:56Почему недетерминированным агентам нужна другая наблюдаемостьКак хранить и искать огромные трейсы агентов, где спаны весят мегабайты и полны текста?
По словам спикера, команда написала базу под трейсы агентов: запись через write-ahead log для мгновенной видимости, индексы и полнотекстовый индекс Tantivy на Rust, вдохновлённый Apache Lucene. Доступ идёт через SQL.
▶ 8:00Трейсы в реальном времени, специализированные базы данных и поиск TantivyЧем evals отличаются от observability для LLM-приложений и можно ли использовать одну систему?
По мнению спикера, это одна задача: evals запускаются пакетно на заранее известных входах, а observability работает в реальном времени с неизвестными входами. Поэтому их можно решать одной системой.
▶ 8:00Трейсы в реальном времени, специализированные базы данных и поиск TantivyКак подключить непрограммистов, например юристов или врачей, к разбору трейсов агента?
Лучшие команды привлекают предметных экспертов, которые ближе к пользователям, и они пишут промпты на естественном языке. По словам спикера, клиницисты, юристы и финансовые советники уже разбирают трейсы на платформе.
▶ 8:00Трейсы в реальном времени, специализированные базы данных и поиск TantivyКак найти типичные сценарии и проблемы агента в продакшене, не читая тысячи трейсов вручную?
Трейсы превращаются в эмбеддинги и кластеризуются с помощью небольшой LLM, чтобы выделить темы, намерения, настроение пользователей и типы проблем. Функция запущена недавно, по словам спикера.
▶ 14:20Кластеризация трейсов и автоматическая оценка на основе экспертных знанийКак превратить оценки экспертов по трейсам агента в автоматические скоринг-функции?
Эксперт ставит оценку и объясняет её. Объяснения затем обрабатывает LLM, из них выделяются режимы отказов, и по ним строятся масштабируемые автоматические оценки.
▶ 14:20Кластеризация трейсов и автоматическая оценка на основе экспертных знаний
Главы
Ещё доклады: Phil Hetzel
Страница спикера →Почему сложно создавать платформы для evals
AI Engineer Europe 2026
Этапы зрелости evals
AI Engineer Europe 2026
Должна ли GenAI быть только в ведении дата-сайентистов?
AI Engineer Europe 2026
Похожие доклады
Всё, что нужно знать о наблюдаемости AI-агентов
Ben Hylak, Danny Gollapalli, Zubin Koticha
AI Engineer Europe 2026
Близко по содержанию
Ваш агент эволюционировал. А evals — нет.
AI Engineer World's Fair 2026
Близко по содержанию

