← Каталог

· AI Engineer World's Fair 2026

Даже лучшие модели рассуждают как малыши

The Best Models Still Reason Like Toddlers — Andrew Dai, Elorian

Frontier-модели подменяют детальное визуальное рассуждение узнаванием образов, и по словам спикера, исправить это может визуальный chain of thought, где промежуточные шаги выполняются по самому изображению.

  • Счёт и пространство ломаются из-за шаблонов — модель достраивает шахматную доску по памяти и называет 32 белых клетки, а в Catan насчитала пять синих рядов вместо семи. Спикер советует держать визуальные задачи простыми, иначе галлюцинаций будет много.
  • Визуальный chain of thought — модель сначала обводит рамками все отели на фото, затем отбирает красные; по словам автора, такие шаги выполняются в визуальном пространстве, а не только в тексте.
  • Стандартные бенчмарки слабо проверяют зрение — в ARC-AGI изображения 32×32 или 64×64 пикселя, а в MMMU картинка часто не нужна для ответа. Спикер предлагает бенчмарки на геометрию, пространственные связи и отслеживание объектов в видео.

Кому полезно: тем, кто строит агентов для роботов, контроля безопасности на стройке или работы с чертежами и CAD.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады