· AI Engineer World's Fair 2026
Даже лучшие модели рассуждают как малыши
The Best Models Still Reason Like Toddlers — Andrew Dai, Elorian
Frontier-модели подменяют детальное визуальное рассуждение узнаванием образов, и по словам спикера, исправить это может визуальный chain of thought, где промежуточные шаги выполняются по самому изображению.
- Счёт и пространство ломаются из-за шаблонов — модель достраивает шахматную доску по памяти и называет 32 белых клетки, а в Catan насчитала пять синих рядов вместо семи. Спикер советует держать визуальные задачи простыми, иначе галлюцинаций будет много.
- Визуальный chain of thought — модель сначала обводит рамками все отели на фото, затем отбирает красные; по словам автора, такие шаги выполняются в визуальном пространстве, а не только в тексте.
- Стандартные бенчмарки слабо проверяют зрение — в ARC-AGI изображения 32×32 или 64×64 пикселя, а в MMMU картинка часто не нужна для ответа. Спикер предлагает бенчмарки на геометрию, пространственные связи и отслеживание объектов в видео.
Кому полезно: тем, кто строит агентов для роботов, контроля безопасности на стройке или работы с чертежами и CAD.
Статья по теме
На какие вопросы отвечает доклад
Почему мультимодальные модели ошибаются при подсчёте объектов на картинке, например клеток на шахматной доске?
Модели опираются на распознавание шаблонов: видят часть доски и достраивают полную, например 32 белые клетки. Спикер советует держать визуальные задачи простыми, иначе галлюцинаций будет много.
▶ 0:13Знакомая шахматная доска становится неверным ответомПочему видеомодель теряет состояние сцены на длинном видео и пропускает изменения?
Модели не сохраняют согласованность на длинных видео: пропускают, что робот поднял крышку, и что плита уже включена. Спикер называет это context amnesia.
▶ 3:24Для видео важно запоминать изменения, а не только распознавать объектыНасколько надёжны визуальные бенчмарки вроде ARC-AGI и MMMU для оценки визуального рассуждения?
По словам спикера, картинки в ARC-AGI 32x32 или 64x64 пикселя, а многие вопросы MMMU решаются без изображения. Нужны бенчмарки на геометрию, пространственный интеллект и отслеживание объектов.
▶ 5:44Что визуальный бенчмарк на самом деле заставляет делать модельКак заставить мультимодальную модель считать объекты по шагам, а не угадывать ответ?
Используется визуальный chain of thought: модель сначала рисует рамки вокруг всех отелей и других объектов, затем отбирает красные. Промежуточные шаги выполняются в визуальном пространстве, а не только в тексте.
▶ 9:48Сделать промежуточные шаги визуальнымиКак проверять соблюдение правил техники безопасности на стройке по видео с камер?
Видеопоток сопоставляется с текстовыми нормами, например политикой OSHA, и модель проверяет, например, наличие касок. По словам спикера, не нужно переобучать модель под каждое правило.
▶ 12:24Связать визуальные свидетельства с действиями и записанными правиламиКак проверять инженерные чертежи и CAD-модели на соответствие ограничениям с помощью AI?
Мультимодальное рассуждение извлекает геометрическую логику из чертежей и 3D CAD-файлов, а результат проверяется программно или в симуляторе, как код против unit-тестов.
▶ 14:46Механическое проектирование требует геометрических рассуждений и способа их проверить
Главы
Похожие доклады
Moondream: как такая маленькая vision-модель так круто справляется?
AI Engineer World's Fair 2024
Близко по содержанию
Бенчмарки: хорошие, плохие и ужасные
AI Engineer World's Fair 2026
Близко по содержанию
От VLM/VLA к embodied agents
AI Engineer World's Fair 2026
Близко по содержанию
OpenThoughts: рецепты подготовки данных для reasoning-моделей
AI Engineer World's Fair 2025
Близко по содержанию

