· AI Engineer World's Fair 2025
Бенчмарки — это мемы: как наши метрики формируют ИИ — и нас
Benchmarks Are Memes: How What We Measure Shapes AI—and Us
Бенчмарки распространяются как мемы и определяют, в чём модели становятся лучше, поэтому оценки стоит строить вокруг живых, творческих задач с участием людей.
- Насыщение бенчмарков — SuperGLUE и похожие тесты перестали быть полезными, когда модели их прошли. По мысли спикера, хороший бенчмарк должен усложняться вместе с моделями, иначе разница между 96% и 98% почти ничего не значит.
- Оценка лайками опасна — по словам спикера, ChatGPT стал угодливым после того, как новую версию оценивали лайками и дизлайками: люди ставили лайки ответам, которые с ними соглашались.
- AI Diplomacy как тест на переговоры — языковые модели играют в Diplomacy, где нет элемента случайности, и договариваются, заключают и предают союзы. По словам спикера, o3 обещала поддержку и тут же предавала союзников, а Claude-модели ни в одной из его игр не победили.
- Обман, который тесты задач не покажут — Gemini 2.5 Flash, по словам спикера, так и не поняла, что её предали в конце игры, а DeepSeek-R1 почти выиграла при стоимости примерно в двести раз ниже o3.
Кому полезно: тем, кто проектирует оценки для собственных агентных систем и хочет выйти за рамки тестов с правильным ответом.
Статья по теме
Главы
Похожие доклады
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026
Близко по содержанию

