· AI Engineer World's Fair 2026
Продвинутый практикум по наблюдаемости AI
Advanced Workshop: Mastering AI Observability — Doug Guthrie, Braintrust
Трейсы агента становятся материалом для улучшения, если поверх них работают online-скореры, Topics со своим фасетом и агент для кодинга, предлагающий правки через pull request.
- Свой фасет вместо дефолтного — встроенный фасет issues не набрал нужного числа совпадений для карты тем, а собственный фасет support workflow issue показал сбои поиска заказов, которых не было в evals.
- Сбойные трейсы в датасет — отобранные по сигналу примеры добавляются в eval-датасет как регрессионные кейсы, и после правок evals запускаются заново для сравнения с прошлым прогоном.
- Агент с CLI и skill — агент для кодинга с Braintrust CLI читает трейсы через SQL вместе с кодом репозитория, предлагает правки инструментов и скореров, а GitHub Action упаковывает их с доказательствами в pull request для ревью человеком. По словам спикера, один из клиентов получает на пять–десять PR в день больше.
Кому полезно: тем, кто хочет, чтобы продакшен-трейсы подсказывали, что исправлять в агенте, и кто готов принимать правки агента через ревью.
Статья по теме
Главы
Ещё доклады: Doug Guthrie
Страница спикера →Как создавать ИИ-продукты мирового уровня
Doug Guthrie, Carlos Esteban, Sarah Sachs
AI Engineer World's Fair 2025
Основы evals
AI Engineer World's Fair 2025
[Воркшоп по evals] Оценка AI: от playground до production
AI Engineer World's Fair 2025
Похожие доклады
Создание самообучающихся циклов для агента
AI Engineer World's Fair 2026
Близко по содержанию
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Близко по содержанию

