Peter Gostev — AI Capability Lead в Arena.ai. Раньше он возглавлял AI strategy в NatWest Group и был Head of AI в Moonpig, где применял генеративный AI в клиентской поддержке и визуальные модели для тегирования и поиска открыток. Он создал BullshitBench, open source бенчмарк, который проверяет, распознают ли языковые модели бессмысленные вопросы и оспаривают ли ложные предпосылки, вместо того чтобы давать уверенные ответы. В Arena он сочетает такие бенчмарки с пользовательскими оценками сравнений моделей. В докладах он говорит о слабостях моделей, которые остаются заметными, несмотря на рост результатов на стандартных тестах.

Темы докладов: Evals и бенчмарки.

AI Engineer Europe 20261