← Каталог

· AI Engineer World's Fair 2026

Дайте агенту развернуться: как с помощью Skills оценивать и улучшать приложение

Let Your Agent Cook: Using Skills to Evaluate and Improve Your App — Ankur Duggal, Arize AI

Coding агент, которому дали трейсы, evals, аннотации и логи через CLI и skills Arize, по словам автора находит сбои LLM-агента и предлагает их исправления.

  • Данные, а не только код — агенту нужны трейсы, результаты оценок, аннотации людей и операционные логи. Без них он не видит, на каком шаге агент ломается.
  • Найденные сбои — по анализу агента, около 44% разобранных взаимодействия финансового агента получили плохое саммари. Там же нашлись выдуманные ответы, лишние вызовы инструментов и тихие сбои инструментов, о которых агент не сообщал.
  • Инструмент важнее контекста — в эксперименте с акциями не из США добавление названия страны не помогло. Обновление устаревшего инструмента подняло успешность с 0% примерно до 90%, но до 100% ещё далеко.
  • Оценки под приложение и мониторинг — по словам автора, evals стоит строить под конкретное приложение и следить за регрессиями, потому что исправление, работавшее сегодня, может деградировать после смены модели или формулировок пользователей. Живое исправление в конце доклада не доделано, поэтому итоговая эффективность не доказана.

Кому полезно: тем, кто уже выводит агентов в продакшен и хочет автоматизировать разбор трейсов и сборку оценок.

Статья по теме

Главы

Похожие доклады