Manu Goyal — founding engineer компании Braintrust, где строит инфраструктуру для application-specific AI evaluations: она помогает командам оценивать, отслеживать и улучшать AI-приложения до выхода в продакшен. До Braintrust он работал над self-driving технологиями в Nuro. Он соавтор open source библиотеки libcuckoo на C++ и участвует в проекте Autoevals, внося вклад в трассировку оценок, интеграцию SDK и обработку ошибок.
В докладе на AI Engineer World's Fair 2025 он объясняет, почему одних метрик моделей недостаточно для запуска AI-систем, и показывает связь evals с экспериментами, логированием и AI observability.
Темы докладов: Evals и бенчмарки и Observability и трейсы.
AI Engineer World's Fair 20251
Зачем вообще нужны evals?
AI Engineer World's Fair 2025