· AI Engineer World's Fair 2026
За пределами статического интеллекта: оценка непрерывного обучения
Beyond Static Intelligence: Evaluating Continual Learning
Способность агента учиться стоит измерять приростом результата от накопленного опыта, и Continual Learning Bench построен именно на этом.
- Gain вместо суммарной награды — сравнение прогона с сохранением состояния и прогона с обнулением памяти показывает, что дал опыт. Суммарная награда смешивает этот эффект с базовой силой модели, поэтому сильная модель без обучения может выглядеть лучшей.
- Простой in-context learning — по словам автора, обычный подход, при котором опыт просто кладётся в контекст, занял первое место в таблице и обошёл более дорогие системы управления контекстом как по награде, так и на фронтах Парето по стоимости.
- Два типа провалов — в задаче прогнозирования продаж модель забыла собственную ошибку и вернулась к ней (stability). В эпидемиологической задаче она сочла релевантную схему исследования нерелевантной и не обновила свои представления (plasticity).
- Шесть доменов с проверкой экспертами — задачи от обработки сигналов до покера и SQL-запросов к базе с миграциями схемы; каждую задачу валидировали специалисты предметной области.
Кому полезно: тем, кто выбирает способ оценки агентов с памятью или с обучением на опыте.
Статья по теме
Главы
Похожие доклады
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026
Близко по содержанию
Непрерывное обучение AI agents: от ошибок к устойчивым улучшениям
AI Engineer World's Fair 2026
Близко по содержанию
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
Бенчмарки: хорошие, плохие и ужасные
AI Engineer World's Fair 2026
Близко по содержанию

