Olmo Maldonado — staff engineer в Braintrust, где он строит инфраструктуру для оценки и улучшения AI-продуктов. Более семи лет он работал в Zapier, занимаясь публичным API, распределёнными системами workflow и AI-продуктами, включая AI Zap Builder и Zapier Copilot. В open source проекте autoevals он добавил настраиваемые клиенты OpenAI и улучшения для Azure. В докладе на AI Engineer World's Fair 2024 он рассказывает, как эти продукты строились на систематических оценках и observability.
Темы докладов: Evals и бенчмарки, Observability и трейсы и Инференс, стоимость, открытые модели.
AI Engineer World's Fair 20241
Как Zapier создаёт AI-продукты и функции с помощью Braintrust
AI Engineer World's Fair 2024