← Каталог

· AI Engineer World's Fair 2026

Как мы создали агента, который сам себя улучшает

How We Built an Agent That Improves Itself — Zubin Aysola, Weights & Biases

Команда Weights and Biases, по словам спикера, улучшает собственного агента ARIA, превращая трейсы из продакшена в офлайн-задачи для регрессии.

  • Продакшен-трейс как регрессионная задача — боевой трейс переносится в офлайн-набор, и агент сам находит причину сбоя: неверный вызов weave.log в песочнице.
  • Одинаковый код в проде и в оффлайне — исследовательская версия агента побитово совпадает с продакшен-версией, а синхронизация каждые 4 часа не даёт дрейфа между окружениями.
  • Два способа оценки — нормативная оценка (задача пройдена или нет) и относительная, которая сравнивает варианты агента, например с уточняющими вопросами и без них.
  • Точечная правка вместо переписывания — исправление ошибки SDK оформлено коротким промптом в system prompt или в Skills, а варианты агента задаются YAML-конфигами.

Кому полезно: тем, кто строит агентов и хочет регулярно проверять их на реальных трейсах; доклад во многом презентация продукта Weights and Biases, но инженерная часть переносима на другой стек.

Статья по теме

Главы

Похожие доклады