← Каталог

· AI Engineer World's Fair 2025

Игра бенчмарков: почему она подтасована и как действительно победить

The Benchmarks Game: Why It's Rigged and How You Can (Really) Win

Публичные бенчмарки искажаются выборочными конфигурациями, привилегированным доступом и предпочтением стиля над точностью, поэтому надёжнее строить evals на своих данных и задачах.

  • Сравнение лучшего с лучшим — xAI сравнивал свою конфигурацию с consensus-64 (модель запускается 64 раза, берётся консенсусный ответ) с обычными конфигурациями конкурентов, а результаты o3 в режиме consensus-64 не показал. Сравнивать нужно либо лучшее с лучшим, либо стандарт со стандартом.
  • Доступ к тестовым вопросам — по словам спикера, OpenAI финансировала FrontierMath и видела вопросы до независимой проверки. Epoch AI при этом описывает отдельный закрытый набор для OpenAI, поэтому риск спикер называет скорее структурным, чем доказанным.
  • Стиль вместо точности — Meta отправила в LLM Arena 27 версий Llama 4 Maverick, и одна из них выиграла у правильного ответа Claude на загадку за счёт болтливого тона. После контроля длины и форматирования ранжирование заметно поменялось.
  • Свои данные вместо лидерборда — пять реальных запросов из продакшена, по словам спикера, полезнее сотни академических вопросов. Нужно тестировать несколько топовых моделей на своих данных по качеству, стоимости и задержке и гонять evals перед каждым деплоем.

Кому полезно: тем, кто выбирает модель для продукта по публичным бенчмаркам и хочет проверить её на собственных задачах.

Статья по теме

Главы

Похожие доклады