· AI Engineer World's Fair 2026
Непрерывное обучение AI agents: от ошибок к устойчивым улучшениям
Continual Learning for AI Agents: From Failures to Durable Improvements - Soheil Feizi, RELAI
Исправления агентов по продакшен-логам стоит внедрять только после того, как сбой превращён в воспроизводимую среду и регрессионные тесты подтверждают, что старое не сломалось.
- Логи не заменяют среду — сессию из продакшена нужно превратить в запускаемую среду с инструментами, синтетическими пользователями и оценщиками, иначе правку нечем проверить.
- Слой выбирается по причине — ошибку могут вызывать устаревший факт в памяти, промпт, инструмент или модель, и правку стоит вносить в слой с наименьшим устойчивым изменением.
- Регрессии внутри оптимизации — новые правки проверяются на прошлых средах в самом цикле; по словам спикера, на его бенчмарке поддерживающего агента общий балл вырос с 87% до 97% за один цикл.
- Результат — pull request — обновление приходит с описанием изменений и причин, его можно просмотреть до выкладки. Доклад в основном про продукт RELAI, но принципы от него не зависят.
Кому полезно: тем, кто поддерживает агентов в продакшене и хочет улучшать их по логам без регрессий.
Статья по теме
На какие вопросы отвечает доклад
Как улучшать агента по продакшен-логам, если нет размеченных данных и бенчмарка?
Логи и фидбек превращают в воспроизводимую среду обучения: инструменты мокаются или подключаются реальные, синтетические пользователи выводятся из данных, а evaluators задают критерий успеха. После этого среду можно прогонять повторно.
▶ 1:48Обратная связь, логи сессий, синтетические пользователи и оценщикиКак менять агента после исправления ошибки и не сломать уже работающие сценарии?
Оптимизация учитывает регрессии внутри себя, а не проверяет их постфактум: новая правка принимается, только если прошлые обучающие среды продолжают проходить. Спикер отмечает, что сложность растёт с числом сред и её нужно держать эффективной.
▶ 11:01Проверяемое continual learning и контроль регрессийНа каком слое агента исправлять ошибку: в весах модели, в промптах или в памяти?
Нужно искать наименьшее устойчивое изменение на правильном слое: модель, harness (промпты, skills, tools, код вокруг LLM) или память. По словам спикера, многие полезные обновления делаются без изменения весов.
▶ 6:25Методы оптимизации модели, harness и памятиЧем fine-tuning и RL-методы отличаются от поиска по промптам и записи в память для агента?
SFT, DPO и GRPO дороги и требуют бенчмарков с evaluators; GEPA-подобный поиск по промптам тестируем, но тоже нужны оценки. Запись в память дешевле и быстрее, но обычно не проверяется на регрессии.
▶ 6:25Методы оптимизации модели, harness и памятиПочему правки промпта, которые coding агент предлагает по логу, могут скрыто ломать агента?
Такие правки обычно не тестируются: они могут исправить один пример и незаметно ухудшить другие сценарии. Спикер советует проверять каждое изменение на регрессионных тестах и замерять дельту до и после.
▶ 6:25Методы оптимизации модели, harness и памятиКак проверить, что правка агента действительно повысила качество, а не просто подогнана под один случай?
По словам спикера, в демо на support агенте один цикл оптимизации поднял средний результат с 87% до 97%, при этом регрессионные ловушки в бенчмарке оставались пройденными. Каждый апдейт сравнивается с базовым прогоном.
▶ 15:44Цикл обучения RELAI, обновления для ревью и четыре принципа
Главы
Похожие доклады
Обучение с подкреплением без проверяемых наград
AI Engineer World's Fair 2026
Близко по содержанию
Как создавать ИИ-системы, которые выдержат «Горький урок»
AI Engineer World's Fair 2025
Близко по содержанию
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию
Масштабирование непрерывного обучения
AI Engineer World's Fair 2026
Близко по содержанию

