Annabell Schäfer работает в ClickHouse, куда вошла open source платформа Langfuse для трейсинга и evals AI-приложений. Она пишет практические руководства по мониторингу агентов в продакшене: узкие детекторы событий, регрессионные тесты на основе реальных диалогов, проверку ответов по актуальной документации. Вместе с Lotte Verheyden она запустила бесплатный курс Langfuse Academy по трейсингу, датасетам и evaluation, а также опубликовала Agent Process Mining Cookbook для анализа последовательностей действий агентов.

В докладах она рассказывает, как связать мониторинг с офлайн-экспериментами и почему автоматическое улучшение агентов требует экспертизы предметной области.

Темы докладов: Evals и бенчмарки, Observability и трейсы, Кодинг-агенты и AI-native процесс, Безопасность и governance и Паттерны построения агентов.

Другое1

AI Engineer World's Fair 20262