· AI Engineer World's Fair 2026
Для долгоживущих агентов нужны эксперименты, а не только промпты
Long-Horizon Agents Need Experiments, Not Just Prompts — Erina Karati
Долгоживущих агентов стоит улучшать контролируемыми экспериментами: оценку замораживают, поведение проверяют на сценариях, а оставляют только изменения, которые проходят сбалансированный scorecard.
- Несколько метрик вместо одной оценки качества — scorecard включает охват знания, сохранение источника, сохранение неопределённости, долю ложных утверждений, согласованность действий и время до перепланирования. Оптимизация одной метрики, по словам спикера, учит агентов делиться всем подряд.
- Замороженный harness и маленькая зона правок — autoresearch-цикл меняет только политику записи и поиска памяти, промпт общения, правила доверия, атрибуцию источников и триггеры перепланирования. Сценарии и метрики он не трогает, поэтому не может подогнать оценку под себя.
- Источник и степень уверенности хранятся отдельно — по словам спикера, одной RAG-памяти мало: агент должен помнить, слышал ли он факт из первых рук или из вторых, и не превращать слух в факт. Изменения, которые ухудшают другие метрики, откатываются.
- Пример с манго без общих выводов — после длинного периода агент ответил на вопрос о слухе о распродаже в контексте. Спикер прямо говорит, что общего улучшения системы без повторных прогонов он не утверждает.
Кому полезно: тем, кто строит агентов с памятью и состоянием на горизонте дней и недель, например support-агентов или персональных ассистентов.
Статья по теме
Главы
Похожие доклады
Проблема памяти агентов решена. А обучения — нет.
Heather Downing, Karthik Ranganathan
AI Engineer World's Fair 2026
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Построение цикла обучения промптов
AI Engineer Code 2025
Близко по содержанию
Исправление агента сломало что-то ещё
Близко по содержанию

