Justin Muller — applied AI architect в Amazon Web Services (AWS), в 2025 году занимал должность principal applied AI architect. Он помогает командам переводить прототипы генеративного AI в продакшен-системы и занимается их оценкой: его подход строится на выявлении конкретных ошибок, а не на одной сводной метрике. Вместе с Sindhu Jambunathan он создал open source приложение для генерации изображений на Amazon Bedrock. В статьях на Medium он пишет о prompt decomposition, text-to-SQL и оценке через рубрики без эталонных ответов. На AI Engineer World's Fair 2025 он рассказал о принципах эффективных оценок генеративного AI.

Темы докладов: Evals и бенчмарки.

AI Engineer World's Fair 20251