← Каталог

· AI Engineer World's Fair 2026

От сигнала до PR: устройство самоулучшающегося агента

From Signal to PR: Anatomy of a Self-Improving Agent

Signal от Arize, по словам автора, превращает traces из продакшена в готовое исправление в репозитории, и человеку остаётся только ревью.

  • Skills вместо ручной отладки — skill подтягивает traces в репозиторий файлами, иногда размером до 10 МБ, и агент сопоставляет их с кодом. Главное в дизайне skill: сначала найти нужные данные, а не просто дать Claude доступ к ним.
  • Запуск по расписанию и по событию — агент работает в sandbox и заводит issue в GitHub с доказательствами раньше, чем человек открыл ошибку. В примере с агентом Alyx ошибка отмены стрима при обновлении задач дала исправление в одну-две строки, а крупные исправления обычно требуют человека.
  • Онлайн-оценки на traces — LLM-as-a-judge запускается на продакшен-трейсах, а повторяющийся сбой превращается в evaluator, чтобы поймать его в следующий раз. Клиенты, по словам автора, прогоняют judge по всему набору данных.
  • Развёртывание в VPC — крупные компании ставят платформу в свою VPC, потому что не хотят отдавать продакшен-соединения Anthropic. Harness и sandbox можно выбрать свои, Phoenix распространяется как open source, а Signal пока есть только в SaaS-версии AX.

Кому полезно: тем, кто хочет, чтобы агент разбирал ошибки своих агентов в продакшене и готовил исправления, а человек только проверял их. Доклад по сути презентация продукта Arize, но архитектура с traces в репозитории описана конкретно.

Статья по теме

Главы

Похожие доклады