В чём модели всё ещё ужасно справляются?
What Do Models Still Suck At?
Рост бенчмарков скрывает провалы моделей: по данным спикера, они часто всерьёз отвечают на бессмысленные вопросы, а в медицине, праве и финансах прогресс заметно меньше.
- Принятие абсурдных вопросов — в BullshitBench (около 155 вопросов, оценка через LLM-as-a-judge) Claude показал лучший результат, а GPT и Gemini примерно в половине случаев соглашались с ложной посылкой.
- Reasoning не всегда помогает — на части задач режим высокого reasoning давал худший результат, чем низкий. В трассах GPT-5.4 модель нередко замечала ошибку в условии, но всё равно решала задачу.
- Доля неудовлетворённых ответов на Arena — для топ-25 моделей, когда оба ответа в бою признаны плохими, показатель снизился примерно с 17% до 9%, но не до нуля.
- Разный прогресс по доменам — в математике и физике неудовлетворённость резко упала, а в медицине, финансах и праве изменилась мало. В разработке игр, по словам спикера, улучшения почти не видно.
Кому полезно: тем, кто выбирает модель для медицины, права или финансов и хочет проверять её на некорректных постановках задач.
Статья по теме
На какие вопросы отвечает доклад
Почему модели берутся решать бессмысленный вопрос вместо того, чтобы указать на ошибку в условии?
Автор собрал примерно 155 бессмысленных вопросов и оценил ответы через LLM-as-a-judge. Claude лучше всех возражает на неверную посылку, а GPT и Gemini по его оценке принимают нонсенс примерно в половине случаев.
▶ 2:01BullshitBench: бессмысленные промпты и автоматическая оценкаПочему включение режима reasoning не помогает модели с некорректными задачами?
По данным доклада, высокий режим reasoning иногда даёт худший результат, чем низкий. Трассировки GPT-5.4 показывают, что модель замечает проблему в одной строке, а затем расписывает решение на 20 абзацев.
▶ 4:42Сравнение моделей и ошибки в трассах рассужденийКак измерить недовольство пользователей моделью по реальным запросам?
Arena считает долю голосов, где обе модели из топ-25 получили плохой ответ. По словам спикера, после o1 она снизилась примерно с 12% до около 9%, то есть прогресс есть, но не нулевой.
▶ 9:49Голосования в Arena и недовольство в профессиональных областяхПочему в медицине, финансах и праве модели улучшаются заметно медленнее, чем в математике?
Для экспертных запросов в медицине, финансах и праве недовольство почти не снизилось, в отличие от математики и физики. По мнению спикера, эти области меньше были в фокусе обучения моделей.
▶ 9:49Голосования в Arena и недовольство в профессиональных областях
Главы
Похожие доклады
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
Как создавать системы оценки LLM для конкретной предметной области
AI Engineer World's Fair 2024
Близко по содержанию
Почему тексты ИИ всё ещё выглядят как AI slop
Близко по содержанию
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026
Близко по содержанию

