· AI Engineer World's Fair 2025
Измерение AGI: интерактивные бенчмарки рассуждения
Measuring AGI: Interactive Reasoning Benchmarks
Бенчмарк AGI должен измерять, как быстро система осваивает незнакомые навыки по сравнению с людьми, а не награждать за запомненные игры.
- Метрика эффективности — успех измеряется количеством действий, которое агенту нужно, чтобы пройти игру, и сравнивается с базовой линией, полученной на сотнях людей. Энергию и объём обучающих данных закрытых моделей не измерить, поэтому для AI пока берут прокси: стоимость и число действий.
- Закрытая выборка — публичный набор примерно из 40 новых игр нужен, чтобы познакомиться с интерфейсом, а отчётность идёт по приватной выборке без доступа в интернет. Ни ИИ, ни разработчики бенчмарка эти игры раньше не видели, поэтому результат нельзя объяснить знанием среды.
- Исследование вместо инструкций — агенту не говорят, что перед ним гонки или шутер: он должен исследовать среду, сам выводить правила и цели. По словам спикера, reasoning модели сейчас такого поведения почти не показывают.
- Минимум знаний — задачи опираются только на четыре базовых представления: счёт до 10, геометрия, понимание других агентов и объектность, без языка, текста и символов.
Кому полезно: тем, кто оценивает агентов в интерактивных средах и хочет сравнивать их с человеческой базой, а не с набором известных игр.
Статья по теме
Главы
Похожие доклады
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
Игра бенчмарков: почему она подтасована и как действительно победить
AI Engineer World's Fair 2025
Близко по содержанию
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026
Близко по содержанию
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026
Близко по содержанию

