← Каталог

· AI Engineer World's Fair 2026

Непрерывное обучение AI agents: от ошибок к устойчивым улучшениям

Continual Learning for AI Agents: From Failures to Durable Improvements - Soheil Feizi, RELAI

Исправления агентов по продакшен-логам стоит внедрять только после того, как сбой превращён в воспроизводимую среду и регрессионные тесты подтверждают, что старое не сломалось.

  • Логи не заменяют среду — сессию из продакшена нужно превратить в запускаемую среду с инструментами, синтетическими пользователями и оценщиками, иначе правку нечем проверить.
  • Слой выбирается по причине — ошибку могут вызывать устаревший факт в памяти, промпт, инструмент или модель, и правку стоит вносить в слой с наименьшим устойчивым изменением.
  • Регрессии внутри оптимизации — новые правки проверяются на прошлых средах в самом цикле; по словам спикера, на его бенчмарке поддерживающего агента общий балл вырос с 87% до 97% за один цикл.
  • Результат — pull request — обновление приходит с описанием изменений и причин, его можно просмотреть до выкладки. Доклад в основном про продукт RELAI, но принципы от него не зависят.

Кому полезно: тем, кто поддерживает агентов в продакшене и хочет улучшать их по логам без регрессий.

Статья по теме

На какие вопросы отвечает доклад

  • Как улучшать агента по продакшен-логам, если нет размеченных данных и бенчмарка?

    Логи и фидбек превращают в воспроизводимую среду обучения: инструменты мокаются или подключаются реальные, синтетические пользователи выводятся из данных, а evaluators задают критерий успеха. После этого среду можно прогонять повторно.

    ▶ 1:48Обратная связь, логи сессий, синтетические пользователи и оценщики
  • Как менять агента после исправления ошибки и не сломать уже работающие сценарии?

    Оптимизация учитывает регрессии внутри себя, а не проверяет их постфактум: новая правка принимается, только если прошлые обучающие среды продолжают проходить. Спикер отмечает, что сложность растёт с числом сред и её нужно держать эффективной.

    ▶ 11:01Проверяемое continual learning и контроль регрессий
  • На каком слое агента исправлять ошибку: в весах модели, в промптах или в памяти?

    Нужно искать наименьшее устойчивое изменение на правильном слое: модель, harness (промпты, skills, tools, код вокруг LLM) или память. По словам спикера, многие полезные обновления делаются без изменения весов.

    ▶ 6:25Методы оптимизации модели, harness и памяти
  • Чем fine-tuning и RL-методы отличаются от поиска по промптам и записи в память для агента?

    SFT, DPO и GRPO дороги и требуют бенчмарков с evaluators; GEPA-подобный поиск по промптам тестируем, но тоже нужны оценки. Запись в память дешевле и быстрее, но обычно не проверяется на регрессии.

    ▶ 6:25Методы оптимизации модели, harness и памяти
  • Почему правки промпта, которые coding агент предлагает по логу, могут скрыто ломать агента?

    Такие правки обычно не тестируются: они могут исправить один пример и незаметно ухудшить другие сценарии. Спикер советует проверять каждое изменение на регрессионных тестах и замерять дельту до и после.

    ▶ 6:25Методы оптимизации модели, harness и памяти
  • Как проверить, что правка агента действительно повысила качество, а не просто подогнана под один случай?

    По словам спикера, в демо на support агенте один цикл оптимизации поднял средний результат с 87% до 97%, при этом регрессионные ловушки в бенчмарке оставались пройденными. Каждый апдейт сравнивается с базовым прогоном.

    ▶ 15:44Цикл обучения RELAI, обновления для ревью и четыре принципа

Главы

Похожие доклады