· AI Engineer World's Fair 2026
Хватит оценивать модели как в 50-е
Stop Evaluating Models Like It's the 50s - Alejandro Vidal, Mindmakers
Подсчёт правильных ответов скрывает разницу между моделями, а item response theory, по словам спикера, показывает её и позволяет сильно сократить бенчмарк.
- IRT вместо подсчёта ответов — у каждого вопроса есть параметры сложности и дискриминативности, по ним модель получает оценку способности с доверительным интервалом. Claude Opus 4.1 и Gemini 3 Pro с 245 и 247 верными ответами из 337 по этой оценке отличаются примерно на одно стандартное отклонение.
- Сокращение набора почти в пять раз — отбор вопросов по дискриминативности дал, по словам спикера, около 97 вопросов вместо 484 при корреляции 0,99 с исходным ранжированием. Случайный отбор работал хуже, а на GPQA не помогает, потому что там все вопросы одинаково информативны.
- Поиск испорченных вопросов — вопросы, где сильные модели стабильно ошибаются, проверяются другой LLM, и так находят неверные эталонные ответы и ответы, которые верны лишь частично.
- Защита от утечек — общий якорный набор вопросов плюс секретные наборы из самых сложных вопросов для каждой организации; аномальные остатки на таком наборе, по словам спикера, помогают заметить утечку, но метод не абсолютно надёжен.
Кому полезно: тем, кто ведёт собственные бенчмарки для выбора моделей и хочет сократить их стоимость без потери точности ранжирования.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026
Близко по содержанию
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
Бенчмарки: хорошие, плохие и ужасные
AI Engineer World's Fair 2026
Близко по содержанию
