· AI Engineer World's Fair 2026
AI evals для межфункциональных команд
AI Evals for Cross-Functional Teams — Nachiket Paranjape & Swaroop Chitlur Haridas, DoorDash
Оценки качества GenAI в DoorDash строятся как общий цикл, где операционные команды и продуктовые менеджеры сами размечают данные и калибруют LLM-as-a-judge.
- Стабильные API под разметку — платформа отдаёт трассировки, оценки и датасеты через API и SDK, поэтому команды могут строить собственные интерфейсы, не ожидая центральной команды.
- Интерфейсы разметки от операторов — операторы поручают coding агентам собрать свой интерфейс разметки поверх этих API; по словам авторов, это снизило стоимость разметки и ускорило итерации, а строк для разметки набирается тысячи в неделю.
- Самостоятельная калибровка judge — продуктовый менеджер или оператор запускает калибровку промпта LLM-as-a-judge на golden dataset с любой моделью, а интерфейс показывает исходный и откалиброванный системный промпт, чтобы команда понимала, что изменилось.
Кому полезно: тем, кто строит оценки для нескольких команд с разными ролями и хочет, чтобы не-инженеры работали без очереди к платформе.
Статья по теме
Главы
Похожие доклады
Evals AI-агентов для задач с высокой ценой ошибки
Annabell Schäfer, Doneyli De Jesus
Близко по содержанию
Как написать свой первый AI eval
Близко по содержанию
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию


