Annabell Schäfer работает в ClickHouse, куда вошла open source платформа Langfuse для трейсинга и evals AI-приложений. Она пишет практические руководства по мониторингу агентов в продакшене: узкие детекторы событий, регрессионные тесты на основе реальных диалогов, проверку ответов по актуальной документации. Вместе с Lotte Verheyden она запустила бесплатный курс Langfuse Academy по трейсингу, датасетам и evaluation, а также опубликовала Agent Process Mining Cookbook для анализа последовательностей действий агентов.
В докладах она рассказывает, как связать мониторинг с офлайн-экспериментами и почему автоматическое улучшение агентов требует экспертизы предметной области.
Темы докладов: Evals и бенчмарки, Observability и трейсы, Кодинг-агенты и AI-native процесс, Безопасность и governance и Паттерны построения агентов.
Другое1
AI Engineer World's Fair 20262
Как непрерывно улучшать agents с Langfuse
Annabell Schäfer, Lotte Verheyden
AI Engineer World's Fair 2026
Хватит сжигать токены: почему для самоулучшения сначала нужна экспертиза в предметной области
AI Engineer World's Fair 2026