Darius Emrani — основатель и генеральный директор компании Scorecard, которая помогает командам оценивать и улучшать AI агентов. До этого он работал над авионикой в SpaceX, руководил работами по симуляции в Uber Advanced Technologies Group и четыре года занимался продуктом симуляции в Waymo, где участвовал в создании систем тестирования беспилотных автомобилей на сложных сценариях. Среди клиентов Scorecard Thomson Reuters. На AI Engineer World's Fair 2025 он говорил о том, как стимулы в бенчмарках искажают сравнение моделей.
Темы докладов: Evals и бенчмарки.
AI Engineer World's Fair 20251
Игра бенчмарков: почему она подтасована и как действительно победить
AI Engineer World's Fair 2025