← Каталог

· AI Engineer Europe 2026

В чём модели всё ещё ужасно справляются?

What Do Models Still Suck At?

Рост бенчмарков скрывает провалы моделей: по данным спикера, они часто всерьёз отвечают на бессмысленные вопросы, а в медицине, праве и финансах прогресс заметно меньше.

  • Принятие абсурдных вопросов — в BullshitBench (около 155 вопросов, оценка через LLM-as-a-judge) Claude показал лучший результат, а GPT и Gemini примерно в половине случаев соглашались с ложной посылкой.
  • Reasoning не всегда помогает — на части задач режим высокого reasoning давал худший результат, чем низкий. В трассах GPT-5.4 модель нередко замечала ошибку в условии, но всё равно решала задачу.
  • Доля неудовлетворённых ответов на Arena — для топ-25 моделей, когда оба ответа в бою признаны плохими, показатель снизился примерно с 17% до 9%, но не до нуля.
  • Разный прогресс по доменам — в математике и физике неудовлетворённость резко упала, а в медицине, финансах и праве изменилась мало. В разработке игр, по словам спикера, улучшения почти не видно.

Кому полезно: тем, кто выбирает модель для медицины, права или финансов и хочет проверять её на некорректных постановках задач.

Статья по теме

На какие вопросы отвечает доклад

  • Почему модели берутся решать бессмысленный вопрос вместо того, чтобы указать на ошибку в условии?

    Автор собрал примерно 155 бессмысленных вопросов и оценил ответы через LLM-as-a-judge. Claude лучше всех возражает на неверную посылку, а GPT и Gemini по его оценке принимают нонсенс примерно в половине случаев.

    ▶ 2:01BullshitBench: бессмысленные промпты и автоматическая оценка
  • Почему включение режима reasoning не помогает модели с некорректными задачами?

    По данным доклада, высокий режим reasoning иногда даёт худший результат, чем низкий. Трассировки GPT-5.4 показывают, что модель замечает проблему в одной строке, а затем расписывает решение на 20 абзацев.

    ▶ 4:42Сравнение моделей и ошибки в трассах рассуждений
  • Как измерить недовольство пользователей моделью по реальным запросам?

    Arena считает долю голосов, где обе модели из топ-25 получили плохой ответ. По словам спикера, после o1 она снизилась примерно с 12% до около 9%, то есть прогресс есть, но не нулевой.

    ▶ 9:49Голосования в Arena и недовольство в профессиональных областях
  • Почему в медицине, финансах и праве модели улучшаются заметно медленнее, чем в математике?

    Для экспертных запросов в медицине, финансах и праве недовольство почти не снизилось, в отличие от математики и физики. По мнению спикера, эти области меньше были в фокусе обучения моделей.

    ▶ 9:49Голосования в Arena и недовольство в профессиональных областях

Главы

Похожие доклады