← Каталог

· AI Engineer World's Fair 2026

Создание самообучающихся циклов для агента

Building Self-Learning Loops for Your Agent — Fuad Ali, Arize AI

Агент может сам находить сбои по продакшен-трейсам, предлагать исправление через PR и проверять его на собранных провальных кейсах, а код-ревью оставлять человеку.

  • Harness as a judge — оценщик читает дерево трейсов, вызывает инструменты и внешние системы, например проверяет права пользователя, поэтому ловит ошибки, о которых заранее не писали тесты. Пример рубрики: кейс проходит, только если все товары укладываются в заданный ценовой диапазон.
  • Прогон провалов на dev-версии — собранные провальные трейсы прогоняются через версию агента из PR тем же оценщиком, а качество, латентность и стоимость сравниваются с продакшеном до релиза. По словам спикера, в примере качество по одному оценщику выросло на 36%.
  • Signal и Arize Skills — Signal в фоне кластеризует сбои по первопричине, читает код и данные из Datadog, пишет расследование и открывает PR; Arize Skills дают тот же анализ по запросу в coding агенте, например Claude Code. Это в основном продуктовая часть доклада Arize.
  • Автономный цикл — агент собирает провалы, создаёт датасет, открывает PR, проверяет его на этих кейсах и передаёт результат человеку. Из-за проблем с сетью часть проверки объяснена концептуально, без сквозного демо.

Кому полезно: тем, кто хочет, чтобы агент сам разбирал трейсы продакшена и предлагал правки в коде.

Статья по теме

На какие вопросы отвечает доклад

  • Как заметить ошибки агента в продакшене раньше, чем пожалуются пользователи?

    Signal в фоне читает продакшен-трейсы, кластеризует сбои по первопричине и для каждого пишет расследование с уровнем серьёзности, доказательствами и предложенным исправлением. Он может открыть PR в GitHub.

    ▶ 8:22Сбои фильтрации по цене и Arize Signal
  • Как по трейсам агента найти место в коде, которое ломает результаты?

    Трейсы запросов сопоставляются с кодом репозитория. В примере запрос на подарок до 30 долларов возвращал товары дороже 33, и так нашли неверный путь фильтрации по цене. Ту же работу делает coding агент с Arize skills.

    ▶ 10:57Arize Skills и расследования по запросу
  • Почему LLM-as-a-judge с фиксированной рубрикой пропускает ошибки, которых вы не предусмотрели?

    Harness as a judge читает дерево трейса, вызывает внешние системы и проверяет контекст, например права доступа пользователя. Для фильтра по цене рубрика проверяет, что все товары попадают в заданный диапазон.

    ▶ 26:24harness в роли судьи и оценка с ограничением бюджета
  • Как проверить исправление агента на реальных сбоях до выпуска в продакшен?

    Собранные сбои воспроизводятся на dev-эндпоинте агента, к ним применяется та же рубрика судьи. Качество, задержка и стоимость сравниваются с продакшен-версией до релиза.

    ▶ 30:17Эксперименты с агентами и повторное воспроизведение наборов данных о сбоях
  • Можно ли, чтобы агент сам собирал сбои, готовил PR и проверял его на этих сбоях до ревью человеком?

    Спикер описывает автономный цикл: агент собирает сбои в датасет, предлагает PR, прогоняет новую версию на этих сбоях и передаёт результаты человеку. Человек делает код-ревью и решает, выпускать ли изменение.

    ▶ 33:16Автономная проверка с проверяемым pull request

Главы

Ещё доклады: Fuad Ali

Все 4 доклада →

Похожие доклады