← Каталог

· AI Engineer World's Fair 2026

Продвинутый практикум по наблюдаемости AI

Advanced Workshop: Mastering AI Observability — Doug Guthrie, Braintrust

Трейсы агента становятся материалом для улучшения, если поверх них работают online-скореры, Topics со своим фасетом и агент для кодинга, предлагающий правки через pull request.

  • Свой фасет вместо дефолтного — встроенный фасет issues не набрал нужного числа совпадений для карты тем, а собственный фасет support workflow issue показал сбои поиска заказов, которых не было в evals.
  • Сбойные трейсы в датасет — отобранные по сигналу примеры добавляются в eval-датасет как регрессионные кейсы, и после правок evals запускаются заново для сравнения с прошлым прогоном.
  • Агент с CLI и skill — агент для кодинга с Braintrust CLI читает трейсы через SQL вместе с кодом репозитория, предлагает правки инструментов и скореров, а GitHub Action упаковывает их с доказательствами в pull request для ревью человеком. По словам спикера, один из клиентов получает на пять–десять PR в день больше.

Кому полезно: тем, кто хочет, чтобы продакшен-трейсы подсказывали, что исправлять в агенте, и кто готов принимать правки агента через ревью.

Статья по теме

Главы

Ещё доклады: Doug Guthrie

Страница спикера →

Похожие доклады