· AI Engineer World's Fair 2026
Дайте агенту развернуться: как с помощью Skills оценивать и улучшать приложение
Let Your Agent Cook: Using Skills to Evaluate and Improve Your App — Ankur Duggal, Arize AI
Coding агент, которому дали трейсы, evals, аннотации и логи через CLI и skills Arize, по словам автора находит сбои LLM-агента и предлагает их исправления.
- Данные, а не только код — агенту нужны трейсы, результаты оценок, аннотации людей и операционные логи. Без них он не видит, на каком шаге агент ломается.
- Найденные сбои — по анализу агента, около 44% разобранных взаимодействия финансового агента получили плохое саммари. Там же нашлись выдуманные ответы, лишние вызовы инструментов и тихие сбои инструментов, о которых агент не сообщал.
- Инструмент важнее контекста — в эксперименте с акциями не из США добавление названия страны не помогло. Обновление устаревшего инструмента подняло успешность с 0% примерно до 90%, но до 100% ещё далеко.
- Оценки под приложение и мониторинг — по словам автора, evals стоит строить под конкретное приложение и следить за регрессиями, потому что исправление, работавшее сегодня, может деградировать после смены модели или формулировок пользователей. Живое исправление в конце доклада не доделано, поэтому итоговая эффективность не доказана.
Кому полезно: тем, кто уже выводит агентов в продакшен и хочет автоматизировать разбор трейсов и сборку оценок.
Статья по теме
Главы
Похожие доклады
Как agents совершенствуются, пока вы спите
Близко по содержанию
Ваш агент эволюционировал. А evals — нет.
AI Engineer World's Fair 2026
Близко по содержанию
Исправление агента сломало что-то ещё
Близко по содержанию
Создание самообучающихся циклов для агента
AI Engineer World's Fair 2026
Близко по содержанию

