· AI Engineer World's Fair 2026
Как мы создали агента, который сам себя улучшает
How We Built an Agent That Improves Itself — Zubin Aysola, Weights & Biases
Команда Weights and Biases, по словам спикера, улучшает собственного агента ARIA, превращая трейсы из продакшена в офлайн-задачи для регрессии.
- Продакшен-трейс как регрессионная задача — боевой трейс переносится в офлайн-набор, и агент сам находит причину сбоя: неверный вызов
weave.logв песочнице. - Одинаковый код в проде и в оффлайне — исследовательская версия агента побитово совпадает с продакшен-версией, а синхронизация каждые 4 часа не даёт дрейфа между окружениями.
- Два способа оценки — нормативная оценка (задача пройдена или нет) и относительная, которая сравнивает варианты агента, например с уточняющими вопросами и без них.
- Точечная правка вместо переписывания — исправление ошибки SDK оформлено коротким промптом в system prompt или в Skills, а варианты агента задаются YAML-конфигами.
Кому полезно: тем, кто строит агентов и хочет регулярно проверять их на реальных трейсах; доклад во многом презентация продукта Weights and Biases, но инженерная часть переносима на другой стек.
Статья по теме
Главы
Похожие доклады
Всё, что нужно знать о наблюдаемости AI-агентов
Ben Hylak, Danny Gollapalli, Zubin Koticha
AI Engineer Europe 2026
Близко по содержанию
Как понять, хорош ли ваш AI-агент: evals с Phoenix и Claude
Близко по содержанию
AI-агент для запуска экспериментов
AI Engineer World's Fair 2026
Близко по содержанию
Улучшение agents — задача анализа данных
AI Engineer World's Fair 2026
Близко по содержанию

