← Каталог

· AI Engineer World's Fair 2026

Хватит оценивать модели как в 50-е

Stop Evaluating Models Like It's the 50s - Alejandro Vidal, Mindmakers

Подсчёт правильных ответов скрывает разницу между моделями, а item response theory, по словам спикера, показывает её и позволяет сильно сократить бенчмарк.

  • IRT вместо подсчёта ответов — у каждого вопроса есть параметры сложности и дискриминативности, по ним модель получает оценку способности с доверительным интервалом. Claude Opus 4.1 и Gemini 3 Pro с 245 и 247 верными ответами из 337 по этой оценке отличаются примерно на одно стандартное отклонение.
  • Сокращение набора почти в пять раз — отбор вопросов по дискриминативности дал, по словам спикера, около 97 вопросов вместо 484 при корреляции 0,99 с исходным ранжированием. Случайный отбор работал хуже, а на GPQA не помогает, потому что там все вопросы одинаково информативны.
  • Поиск испорченных вопросов — вопросы, где сильные модели стабильно ошибаются, проверяются другой LLM, и так находят неверные эталонные ответы и ответы, которые верны лишь частично.
  • Защита от утечек — общий якорный набор вопросов плюс секретные наборы из самых сложных вопросов для каждой организации; аномальные остатки на таком наборе, по словам спикера, помогают заметить утечку, но метод не абсолютно надёжен.

Кому полезно: тем, кто ведёт собственные бенчмарки для выбора моделей и хочет сократить их стоимость без потери точности ранжирования.

Статья по теме

Главы

Похожие доклады