Как agents совершенствуются, пока вы спите
Agents That Self Improve While You Sleep - Fuad Ali, Arize AI
Цикл самоулучшения агента можно собрать из трассировок, автоматического разбора ошибок и регрессионных датасетов, а человеку оставить проверку PR и решение о релизе.
- Датасет ошибок как живая фикстура — упавшие кейсы из продакшена сохраняются в датасет и становятся регрессионными тестами, которые растут вместе с новыми режимами отказа.
- Баг регистра в фильтре — категории хранятся в нижнем регистре через дефис, а модель передаёт названия с заглавными буквами и пробелами. Из-за этого агент делает повторные поиски, и, по словам спикера, задержка достигала 14–17 секунд.
- Оценщики разной цены — детерминированные код-проверки дешевле всего, LLM-as-a-Judge и Agent-as-a-Judge дороже. Decision models, по словам спикера, подходят для проверок во время работы агента благодаря низкой задержке.
- Порог уверенности для ручной проверки — decision models возвращают уверенность, и низкоуверенные кейсы уходят в очередь аннотации. В примере со спам-фильтром 4,6% кейсов попали в диапазон 0,3–0,7, остальные, по словам спикера, распознавались с точностью 99,5%.
Кому полезно: тем, кто строит регрессионные проверки для агентов в продакшене и хочет понять, где поставить человека в петлю.
Статья по теме
Главы
Ещё доклады: Fuad Ali
Все 4 доклада →Транскрипт выглядел нормально. А звонок — нет. — Отладка голосовых агентов
Создание самообучающихся циклов для агента
AI Engineer World's Fair 2026
Построение цикла обучения промптов
AI Engineer Code 2025
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Дайте агенту развернуться: как с помощью Skills оценивать и улучшать приложение
AI Engineer World's Fair 2026
Близко по содержанию

