← Каталог

Чем теперь занимается AI-инженер?

What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI

Работа AI-инженера смещается к построению петли, в которой агенты читают трейсы продакшена, находят повторяющиеся проблемы и предлагают исправления.

  • Запуск и изоляция — Signal, агент от Arize, стартует по расписанию (каждые три–шесть часов), по событию вроде жалобы в Slack или по метрике. Каждый запуск идёт в sandbox с одним proxy, а после него sandbox, ключи и доступ к репозиторию удаляются, остаются только находки и трассировка самого агента.
  • Состояние вне sandbox — по словам спикера, при сбое sandbox или harness запуск продолжается с того шага, где остановился, а не с нуля.
  • Evaluator, выверенный по людям — перед выпуском оценщик сверяют с golden dataset, размеченным вручную, и проверяют согласие с человеческими оценками; тот же набор работает и на тестах до релиза, и на живом трафике.
  • Модель как рычаг цены — внутри одного harness можно менять модель и сравнивать качество PR и стоимость; поддерживаются Claude Code, Cursor и Codex.

Кому полезно: тем, кто запускает агентов с постоянным мониторингом продакшена и хочет, чтобы они сами находили регрессии.

Статья по теме

Главы

Ещё доклады: Aparna Dhinakaran

Все 5 докладов →

Похожие доклады