← Каталог

· AI Engineer World's Fair 2026

AI evals для межфункциональных команд

AI Evals for Cross-Functional Teams — Nachiket Paranjape & Swaroop Chitlur Haridas, DoorDash

Оценки качества GenAI в DoorDash строятся как общий цикл, где операционные команды и продуктовые менеджеры сами размечают данные и калибруют LLM-as-a-judge.

  • Стабильные API под разметку — платформа отдаёт трассировки, оценки и датасеты через API и SDK, поэтому команды могут строить собственные интерфейсы, не ожидая центральной команды.
  • Интерфейсы разметки от операторов — операторы поручают coding агентам собрать свой интерфейс разметки поверх этих API; по словам авторов, это снизило стоимость разметки и ускорило итерации, а строк для разметки набирается тысячи в неделю.
  • Самостоятельная калибровка judge — продуктовый менеджер или оператор запускает калибровку промпта LLM-as-a-judge на golden dataset с любой моделью, а интерфейс показывает исходный и откалиброванный системный промпт, чтобы команда понимала, что изменилось.

Кому полезно: тем, кто строит оценки для нескольких команд с разными ролями и хочет, чтобы не-инженеры работали без очереди к платформе.

Статья по теме

Главы

Похожие доклады