Nathanael Weill руководит направлением enterprise data science and AI в Air Canada. В компании его команда оценивает агентные системы: при проверке договоров с поставщиками в контракт вставляли известную проблему и смотрели, находит ли её агент, при этом менялась формулировка, а ожидаемый вывод оставался тем же.

Он также преподаёт predictive modeling и time series analysis в программе Data Science and Applied AI в McGill University School of Continuing Studies. Имеет степень доктора фармацевтических наук и опыт проектов в life sciences, music technology, телекоме и транспорте. В докладе он рассказывает о тестировании агентов при отсутствии готового бенчмарка на примере RAG-системы в телекоме и договоров Air Canada.

Темы докладов: Evals и бенчмарки.

Другое1