Xander Song — технический лидер направления агентов в open source команде Arize AI. Он работает над Arize Phoenix, платформой для изучения поведения AI-приложений, оценки результатов и тестирования изменений. Его работа в Phoenix включает управление промптами и встроенных агентов, в том числе PXI, ассистента для отладки трасс и итерации промптов. До Arize он был ML-инженером в test.ai и занимался ML observability.
В докладе он рассказывает о Harbor, фреймворке для оценки агентов на реалистичных задачах в изолированных средах, и о его интеграции с Phoenix.
Темы докладов: Evals и бенчмарки, Код-ревью, тесты и верификация и Observability и трейсы.