← Каталог

Как agents совершенствуются, пока вы спите

Agents That Self Improve While You Sleep - Fuad Ali, Arize AI

Цикл самоулучшения агента можно собрать из трассировок, автоматического разбора ошибок и регрессионных датасетов, а человеку оставить проверку PR и решение о релизе.

  • Датасет ошибок как живая фикстура — упавшие кейсы из продакшена сохраняются в датасет и становятся регрессионными тестами, которые растут вместе с новыми режимами отказа.
  • Баг регистра в фильтре — категории хранятся в нижнем регистре через дефис, а модель передаёт названия с заглавными буквами и пробелами. Из-за этого агент делает повторные поиски, и, по словам спикера, задержка достигала 14–17 секунд.
  • Оценщики разной цены — детерминированные код-проверки дешевле всего, LLM-as-a-Judge и Agent-as-a-Judge дороже. Decision models, по словам спикера, подходят для проверок во время работы агента благодаря низкой задержке.
  • Порог уверенности для ручной проверки — decision models возвращают уверенность, и низкоуверенные кейсы уходят в очередь аннотации. В примере со спам-фильтром 4,6% кейсов попали в диапазон 0,3–0,7, остальные, по словам спикера, распознавались с точностью 99,5%.

Кому полезно: тем, кто строит регрессионные проверки для агентов в продакшене и хочет понять, где поставить человека в петлю.

Статья по теме

Главы

Ещё доклады: Fuad Ali

Все 4 доклада →

Похожие доклады