· AI Engineer World's Fair 2025
Игра бенчмарков: почему она подтасована и как действительно победить
The Benchmarks Game: Why It's Rigged and How You Can (Really) Win
Публичные бенчмарки искажаются выборочными конфигурациями, привилегированным доступом и предпочтением стиля над точностью, поэтому надёжнее строить evals на своих данных и задачах.
- Сравнение лучшего с лучшим — xAI сравнивал свою конфигурацию с consensus-64 (модель запускается 64 раза, берётся консенсусный ответ) с обычными конфигурациями конкурентов, а результаты o3 в режиме consensus-64 не показал. Сравнивать нужно либо лучшее с лучшим, либо стандарт со стандартом.
- Доступ к тестовым вопросам — по словам спикера, OpenAI финансировала FrontierMath и видела вопросы до независимой проверки. Epoch AI при этом описывает отдельный закрытый набор для OpenAI, поэтому риск спикер называет скорее структурным, чем доказанным.
- Стиль вместо точности — Meta отправила в LLM Arena 27 версий Llama 4 Maverick, и одна из них выиграла у правильного ответа Claude на загадку за счёт болтливого тона. После контроля длины и форматирования ранжирование заметно поменялось.
- Свои данные вместо лидерборда — пять реальных запросов из продакшена, по словам спикера, полезнее сотни академических вопросов. Нужно тестировать несколько топовых моделей на своих данных по качеству, стоимости и задержке и гонять evals перед каждым деплоем.
Кому полезно: тем, кто выбирает модель для продукта по публичным бенчмаркам и хочет проверить её на собственных задачах.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Насколько надёжны бенчмарки производительности LLM?
Ashok Chandrasekar, Jason Kramberger
AI Engineer World's Fair 2026
Близко по содержанию
Измерение AGI: интерактивные бенчмарки рассуждения
AI Engineer World's Fair 2025
Близко по содержанию
Оценка видео-слопа
AI Engineer World's Fair 2026
Близко по содержанию

