Alejandro Vidal — основатель и генеральный директор Mindmakers, компании, которая занимается прикладным AI. Он исследует психометрическую оценку моделей и применяет методы, созданные для измерения человеческих способностей, например item response theory, к бенчмаркам. Компания начинала с прототипа персонализированного образования, а Vidal преподавал прикладной AI, в том числе в ESADE, и писал разбор модели o1 от OpenAI. В докладах он рассказывает, как отделить реальные способности модели от случайных баллов на бенчмарках и как сократить набор вопросов для оценки.
Темы докладов: Evals и бенчмарки.
AI Engineer World's Fair 20261
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026