← Каталог

· AI Engineer World's Fair 2026

Для долгоживущих агентов нужны эксперименты, а не только промпты

Long-Horizon Agents Need Experiments, Not Just Prompts — Erina Karati

Долгоживущих агентов стоит улучшать контролируемыми экспериментами: оценку замораживают, поведение проверяют на сценариях, а оставляют только изменения, которые проходят сбалансированный scorecard.

  • Несколько метрик вместо одной оценки качества — scorecard включает охват знания, сохранение источника, сохранение неопределённости, долю ложных утверждений, согласованность действий и время до перепланирования. Оптимизация одной метрики, по словам спикера, учит агентов делиться всем подряд.
  • Замороженный harness и маленькая зона правок — autoresearch-цикл меняет только политику записи и поиска памяти, промпт общения, правила доверия, атрибуцию источников и триггеры перепланирования. Сценарии и метрики он не трогает, поэтому не может подогнать оценку под себя.
  • Источник и степень уверенности хранятся отдельно — по словам спикера, одной RAG-памяти мало: агент должен помнить, слышал ли он факт из первых рук или из вторых, и не превращать слух в факт. Изменения, которые ухудшают другие метрики, откатываются.
  • Пример с манго без общих выводов — после длинного периода агент ответил на вопрос о слухе о распродаже в контексте. Спикер прямо говорит, что общего улучшения системы без повторных прогонов он не утверждает.

Кому полезно: тем, кто строит агентов с памятью и состоянием на горизонте дней и недель, например support-агентов или персональных ассистентов.

Статья по теме

Главы

Похожие доклады