Doug Guthrie работает solutions engineer в компании Braintrust, где с 2025 года помогает командам измерять и улучшать AI-продукты. Раньше он был менеджером по аналитике данных в финансовом секторе и старшим solutions architect в dbt Labs. Известен open source проектами: yahooquery — Python-интерфейс к неофициальным эндпоинтам Yahoo Finance, и dbtc — обёртка над REST и GraphQL API dbt Cloud. Также он создал голосовой агент для dbt Semantic Layer.

В докладах он рассказывает о practical AI evaluations: базовых наборах для оценки, LLM-as-a-judge, span-level evaluation агентных workflow и превращении трейсов с продакшена в новые тестовые примеры.

Темы докладов: Evals и бенчмарки, Observability и трейсы, RAG, поиск и эмбеддинги и Кодинг-агенты и AI-native процесс.

AI Engineer World's Fair 20261

AI Engineer World's Fair 20253