· AI Engineer World's Fair 2026
Создание самообучающихся циклов для агента
Building Self-Learning Loops for Your Agent — Fuad Ali, Arize AI
Агент может сам находить сбои по продакшен-трейсам, предлагать исправление через PR и проверять его на собранных провальных кейсах, а код-ревью оставлять человеку.
- Harness as a judge — оценщик читает дерево трейсов, вызывает инструменты и внешние системы, например проверяет права пользователя, поэтому ловит ошибки, о которых заранее не писали тесты. Пример рубрики: кейс проходит, только если все товары укладываются в заданный ценовой диапазон.
- Прогон провалов на dev-версии — собранные провальные трейсы прогоняются через версию агента из PR тем же оценщиком, а качество, латентность и стоимость сравниваются с продакшеном до релиза. По словам спикера, в примере качество по одному оценщику выросло на 36%.
- Signal и Arize Skills — Signal в фоне кластеризует сбои по первопричине, читает код и данные из Datadog, пишет расследование и открывает PR; Arize Skills дают тот же анализ по запросу в coding агенте, например Claude Code. Это в основном продуктовая часть доклада Arize.
- Автономный цикл — агент собирает провалы, создаёт датасет, открывает PR, проверяет его на этих кейсах и передаёт результат человеку. Из-за проблем с сетью часть проверки объяснена концептуально, без сквозного демо.
Кому полезно: тем, кто хочет, чтобы агент сам разбирал трейсы продакшена и предлагал правки в коде.
Статья по теме
На какие вопросы отвечает доклад
Как заметить ошибки агента в продакшене раньше, чем пожалуются пользователи?
Signal в фоне читает продакшен-трейсы, кластеризует сбои по первопричине и для каждого пишет расследование с уровнем серьёзности, доказательствами и предложенным исправлением. Он может открыть PR в GitHub.
▶ 8:22Сбои фильтрации по цене и Arize SignalКак по трейсам агента найти место в коде, которое ломает результаты?
Трейсы запросов сопоставляются с кодом репозитория. В примере запрос на подарок до 30 долларов возвращал товары дороже 33, и так нашли неверный путь фильтрации по цене. Ту же работу делает coding агент с Arize skills.
▶ 10:57Arize Skills и расследования по запросуПочему LLM-as-a-judge с фиксированной рубрикой пропускает ошибки, которых вы не предусмотрели?
Harness as a judge читает дерево трейса, вызывает внешние системы и проверяет контекст, например права доступа пользователя. Для фильтра по цене рубрика проверяет, что все товары попадают в заданный диапазон.
▶ 26:24harness в роли судьи и оценка с ограничением бюджетаКак проверить исправление агента на реальных сбоях до выпуска в продакшен?
Собранные сбои воспроизводятся на dev-эндпоинте агента, к ним применяется та же рубрика судьи. Качество, задержка и стоимость сравниваются с продакшен-версией до релиза.
▶ 30:17Эксперименты с агентами и повторное воспроизведение наборов данных о сбояхМожно ли, чтобы агент сам собирал сбои, готовил PR и проверял его на этих сбоях до ревью человеком?
Спикер описывает автономный цикл: агент собирает сбои в датасет, предлагает PR, прогоняет новую версию на этих сбоях и передаёт результаты человеку. Человек делает код-ревью и решает, выпускать ли изменение.
▶ 33:16Автономная проверка с проверяемым pull request
Главы
Ещё доклады: Fuad Ali
Все 4 доклада →Похожие доклады
Дайте агенту развернуться: как с помощью Skills оценивать и улучшать приложение
AI Engineer World's Fair 2026
Близко по содержанию
Исправление агента сломало что-то ещё
Близко по содержанию

