Janie Gu — product leader, связанный с Google DeepMind. В Lyft она участвовала в запуске Shared Rides, Scheduled Rides и Priority Pickup, в Discord помогала создавать платформу приложений, через которую разработчики, включая Midjourney и Viggle, выводили AI-сервисы к пользователям. В Scale AI она работала над продуктовой частью бенчмарка Showdown, который сравнивает модели по пользовательским предпочтениям в контексте и разбивает результаты по профессиям и демографическим группам. В докладе она говорит, что полезные AI-бенчмарки должны отражать реальные рабочие процессы и давать проверяемые оценки, и рассказывает о MandateBench, созданном LinqAlpha, Google DeepMind и Kaggle, для анализа работы buy-side аналитика.
Темы докладов: Evals и бенчмарки и Изоляция и исполнение кода.