← Каталог

· AI Engineer World's Fair 2026

Инженер в области агентного ИИ

The Agentic AI Engineer

Улучшать агентов можно агентным циклом: по словам авторов, он замыкает оффлайн-оценку и онлайн-диагностику трейсов, и человек перестаёт быть узким местом.

  • Eval-набор растёт из продакшена — полный набор проверок нельзя угадать заранее: он складывается из отзывов пользователей и сбоев в проде, а сложные кейсы добавляются по мере их обнаружения.
  • Бинарные критерии вместо шкалы — провалившийся бинарный критерий сразу показывает, что чинить. LLM-as-a-judge нужно калибровать, потому что один и тот же судья по-разному оценивает один ответ от запуска к запуску.
  • Диагностика по выборке — читать миллионы трейсов дороже самого выполнения агента, поэтому авторы берут репрезентативную выборку по сегментации и проверяют индикаторы, которые можно проверить кодом, для каждого failure mode.
  • Спецификация отдельно от фреймворка — ответственности, инструменты и ограничения агента описаны независимо от реализации, так что harness или платформу можно сменить без переписывания требований.

Кому полезно: командам, которые выводят много агентов в продакшен и разбирают их ошибки вручную.

Статья по теме

Главы

Похожие доклады