· AI Engineer World's Fair 2026
Инженер в области агентного ИИ
The Agentic AI Engineer
Улучшать агентов можно агентным циклом: по словам авторов, он замыкает оффлайн-оценку и онлайн-диагностику трейсов, и человек перестаёт быть узким местом.
- Eval-набор растёт из продакшена — полный набор проверок нельзя угадать заранее: он складывается из отзывов пользователей и сбоев в проде, а сложные кейсы добавляются по мере их обнаружения.
- Бинарные критерии вместо шкалы — провалившийся бинарный критерий сразу показывает, что чинить. LLM-as-a-judge нужно калибровать, потому что один и тот же судья по-разному оценивает один ответ от запуска к запуску.
- Диагностика по выборке — читать миллионы трейсов дороже самого выполнения агента, поэтому авторы берут репрезентативную выборку по сегментации и проверяют индикаторы, которые можно проверить кодом, для каждого failure mode.
- Спецификация отдельно от фреймворка — ответственности, инструменты и ограничения агента описаны независимо от реализации, так что harness или платформу можно сменить без переписывания требований.
Кому полезно: командам, которые выводят много агентов в продакшен и разбирают их ошибки вручную.
Статья по теме
Главы
Похожие доклады
Как непрерывно улучшать agents с Langfuse
Annabell Schäfer, Lotte Verheyden
AI Engineer World's Fair 2026
Близко по содержанию
Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Близко по содержанию
Самоулучшающийся стек OSS-агентов
AI Engineer World's Fair 2026
Близко по содержанию
Агенты создают агентов
AI Engineer World's Fair 2026
Близко по содержанию


