← Каталог

· AI Engineer World's Fair 2025

Измерение AGI: интерактивные бенчмарки рассуждения

Measuring AGI: Interactive Reasoning Benchmarks

Бенчмарк AGI должен измерять, как быстро система осваивает незнакомые навыки по сравнению с людьми, а не награждать за запомненные игры.

  • Метрика эффективности — успех измеряется количеством действий, которое агенту нужно, чтобы пройти игру, и сравнивается с базовой линией, полученной на сотнях людей. Энергию и объём обучающих данных закрытых моделей не измерить, поэтому для AI пока берут прокси: стоимость и число действий.
  • Закрытая выборка — публичный набор примерно из 40 новых игр нужен, чтобы познакомиться с интерфейсом, а отчётность идёт по приватной выборке без доступа в интернет. Ни ИИ, ни разработчики бенчмарка эти игры раньше не видели, поэтому результат нельзя объяснить знанием среды.
  • Исследование вместо инструкций — агенту не говорят, что перед ним гонки или шутер: он должен исследовать среду, сам выводить правила и цели. По словам спикера, reasoning модели сейчас такого поведения почти не показывают.
  • Минимум знаний — задачи опираются только на четыре базовых представления: счёт до 10, геометрия, понимание других агентов и объектность, без языка, текста и символов.

Кому полезно: тем, кто оценивает агентов в интерактивных средах и хочет сравнивать их с человеческой базой, а не с набором известных игр.

Статья по теме

Главы

Похожие доклады