Nachiket Paranjape — инженер в команде AI Platform компании DoorDash, где участвует в инициативе AI Evals. Ранее он руководил разработкой ML Workbench в команде Machine Learning Platform и участвовал в развитии Fabricator, декларативного фреймворка для feature engineering. Также он занимал роль engineering lead в Galileo.

В докладе вместе со Swaroop Chitlur Haridas он рассказывает, как product-менеджеры и операционные команды участвуют в оценке GenAI-систем: как строятся инструменты аннотации, golden datasets и самостоятельная калибровка judge.

Темы докладов: Evals и бенчмарки и Observability и трейсы.

AI Engineer World's Fair 20261