· AI Engineer World's Fair 2026
От сигнала до PR: устройство самоулучшающегося агента
From Signal to PR: Anatomy of a Self-Improving Agent
Signal от Arize, по словам автора, превращает traces из продакшена в готовое исправление в репозитории, и человеку остаётся только ревью.
- Skills вместо ручной отладки — skill подтягивает traces в репозиторий файлами, иногда размером до 10 МБ, и агент сопоставляет их с кодом. Главное в дизайне skill: сначала найти нужные данные, а не просто дать Claude доступ к ним.
- Запуск по расписанию и по событию — агент работает в sandbox и заводит issue в GitHub с доказательствами раньше, чем человек открыл ошибку. В примере с агентом Alyx ошибка отмены стрима при обновлении задач дала исправление в одну-две строки, а крупные исправления обычно требуют человека.
- Онлайн-оценки на traces — LLM-as-a-judge запускается на продакшен-трейсах, а повторяющийся сбой превращается в evaluator, чтобы поймать его в следующий раз. Клиенты, по словам автора, прогоняют judge по всему набору данных.
- Развёртывание в VPC — крупные компании ставят платформу в свою VPC, потому что не хотят отдавать продакшен-соединения Anthropic. Harness и sandbox можно выбрать свои, Phoenix распространяется как open source, а Signal пока есть только в SaaS-версии AX.
Кому полезно: тем, кто хочет, чтобы агент разбирал ошибки своих агентов в продакшене и готовил исправления, а человек только проверял их. Доклад по сути презентация продукта Arize, но архитектура с traces в репозитории описана конкретно.
Статья по теме
Главы
Похожие доклады
Ломай, пока не заработает: создаём самоулучшающийся стек для AI-агентов
AI Engineer World's Fair 2025
Близко по содержанию
Чем теперь занимается AI-инженер?
Близко по содержанию
Платформа observability, оценки и экспериментов для LLM
AI Engineer Europe 2026
Близко по содержанию
Как agents совершенствуются, пока вы спите
Близко по содержанию

