Peter Gostev — AI Capability Lead в Arena.ai. Раньше он возглавлял AI strategy в NatWest Group и был Head of AI в Moonpig, где применял генеративный AI в клиентской поддержке и визуальные модели для тегирования и поиска открыток. Он создал BullshitBench, open source бенчмарк, который проверяет, распознают ли языковые модели бессмысленные вопросы и оспаривают ли ложные предпосылки, вместо того чтобы давать уверенные ответы. В Arena он сочетает такие бенчмарки с пользовательскими оценками сравнений моделей. В докладах он говорит о слабостях моделей, которые остаются заметными, несмотря на рост результатов на стандартных тестах.
Темы докладов: Evals и бенчмарки.
AI Engineer Europe 20261
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026