Doug Guthrie работает solutions engineer в компании Braintrust, где с 2025 года помогает командам измерять и улучшать AI-продукты. Раньше он был менеджером по аналитике данных в финансовом секторе и старшим solutions architect в dbt Labs. Известен open source проектами: yahooquery — Python-интерфейс к неофициальным эндпоинтам Yahoo Finance, и dbtc — обёртка над REST и GraphQL API dbt Cloud. Также он создал голосовой агент для dbt Semantic Layer.
В докладах он рассказывает о practical AI evaluations: базовых наборах для оценки, LLM-as-a-judge, span-level evaluation агентных workflow и превращении трейсов с продакшена в новые тестовые примеры.
Темы докладов: Evals и бенчмарки, Observability и трейсы, RAG, поиск и эмбеддинги и Кодинг-агенты и AI-native процесс.
AI Engineer World's Fair 20261
Продвинутый практикум по наблюдаемости AI
AI Engineer World's Fair 2026
AI Engineer World's Fair 20253
Как создавать ИИ-продукты мирового уровня
Doug Guthrie, Carlos Esteban, Sarah Sachs
AI Engineer World's Fair 2025
Основы evals
AI Engineer World's Fair 2025
[Воркшоп по evals] Оценка AI: от playground до production
AI Engineer World's Fair 2025