← Каталог

· AI Engineer World's Fair 2026

За пределами статического интеллекта: оценка непрерывного обучения

Beyond Static Intelligence: Evaluating Continual Learning

Способность агента учиться стоит измерять приростом результата от накопленного опыта, и Continual Learning Bench построен именно на этом.

  • Gain вместо суммарной награды — сравнение прогона с сохранением состояния и прогона с обнулением памяти показывает, что дал опыт. Суммарная награда смешивает этот эффект с базовой силой модели, поэтому сильная модель без обучения может выглядеть лучшей.
  • Простой in-context learning — по словам автора, обычный подход, при котором опыт просто кладётся в контекст, занял первое место в таблице и обошёл более дорогие системы управления контекстом как по награде, так и на фронтах Парето по стоимости.
  • Два типа провалов — в задаче прогнозирования продаж модель забыла собственную ошибку и вернулась к ней (stability). В эпидемиологической задаче она сочла релевантную схему исследования нерелевантной и не обновила свои представления (plasticity).
  • Шесть доменов с проверкой экспертами — задачи от обработки сигналов до покера и SQL-запросов к базе с миграциями схемы; каждую задачу валидировали специалисты предметной области.

Кому полезно: тем, кто выбирает способ оценки агентов с памятью или с обучением на опыте.

Статья по теме

Главы

Похожие доклады