Чем теперь занимается AI-инженер?
What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI
Работа AI-инженера смещается к построению петли, в которой агенты читают трейсы продакшена, находят повторяющиеся проблемы и предлагают исправления.
- Запуск и изоляция — Signal, агент от Arize, стартует по расписанию (каждые три–шесть часов), по событию вроде жалобы в Slack или по метрике. Каждый запуск идёт в sandbox с одним proxy, а после него sandbox, ключи и доступ к репозиторию удаляются, остаются только находки и трассировка самого агента.
- Состояние вне sandbox — по словам спикера, при сбое sandbox или harness запуск продолжается с того шага, где остановился, а не с нуля.
- Evaluator, выверенный по людям — перед выпуском оценщик сверяют с golden dataset, размеченным вручную, и проверяют согласие с человеческими оценками; тот же набор работает и на тестах до релиза, и на живом трафике.
- Модель как рычаг цены — внутри одного harness можно менять модель и сравнивать качество PR и стоимость; поддерживаются Claude Code, Cursor и Codex.
Кому полезно: тем, кто запускает агентов с постоянным мониторингом продакшена и хочет, чтобы они сами находили регрессии.
Статья по теме
Главы
Ещё доклады: Aparna Dhinakaran
Все 5 докладов →Неожиданная эффективность обучения промптам
AI Engineer Code 2025
Будущее evals: от LLM-as-a-judge к агенту-судье
AI Engineer World's Fair 2026
LLM evals, которые работают в реальных условиях
AI Engineer World's Fair 2024
Похожие доклады
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Тот же спикер: Aparna Dhinakaran
Как меняются платформы для создания agents
AI Engineer World's Fair 2026
Близко по содержанию
Как agents совершенствуются, пока вы спите
Близко по содержанию

