Emmanuel Turlay — директор по инженерии в Weights and Biases by CoreWeave, где развивает инфраструктуру для наблюдения, оценки и улучшения AI агентов в продакшене. Раньше он занимался физикой частиц в CERN, создавал инфраструктуру в Instacart и Cruise, где участвовал в разработке платформы Terra на базе Apache Beam. В 2022 году он основал компанию Sematic с open source фреймворком для пайплайнов машинного обучения. Позднее создал Airtrain AI, который сейчас не активен. Сейчас он работает над Weave, инструментом для наблюдения за агентами. В докладах он говорит об оценке моделей под конкретные приложения и о LLM-as-a-judge.
Темы докладов: Evals и бенчмарки.
AI Engineer Summit 20231
Как оценить модель для своей задачи
AI Engineer Summit 2023