Должна ли GenAI быть только в ведении дата-сайентистов?
Does GenAI "belong" to data scientists?
Агенты не должны принадлежать только data scientists: модели уже обучены провайдерами, а главная работа сместилась к промптам, контексту и evals.
- Состав команды шире ML-платформы — спикер противопоставляет компании, которые передают агентов команде ML-платформы, и AI-native компании с небольшими кросс-функциональными командами. Там продуктовые и AI-инженеры работают вместе, а эксперты предметной области ближе всех к задаче.
- Поведение меняют промптами, а не переобучением — у готовой модели поведение меняют входными данными: промптами и контекстом. По словам спикера, fine-tuning в таких проектах редкость.
- Судей для оценок нужно проверять — LLM-as-judge это тоже промпты и модели, поэтому спикер советует сверять их с размеченным датасетом и считать precision, recall и F1. Здесь пригодится опыт data scientists.
- Цикл оценки замыкается на продакшене — данные из продакшена регулярно добавляются в оффлайн-датасет, а согласованность LLM-судей с разметкой людей проверяется, чтобы видеть, когда оценки расходятся.
Кому полезно: командам, где агенты пока ведёт ML-платформа, и тем, кто решает, какие роли нужны для evals и разметки трасс.
Статья по теме
Главы
Ещё доклады: Phil Hetzel
Страница спикера →Почему сложно создавать платформы для evals
AI Engineer Europe 2026
Этапы зрелости evals
AI Engineer Europe 2026
Чем o11y для агентов отличается от традиционной o11y
AI Engineer Europe 2026
Похожие доклады
Агентный бизнес: что руководителям нужно знать об ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Инженерия AI-платформ
AI Engineer World's Fair 2024
Близко по содержанию
Почему большинство корпоративных проектов с agentic AI обречены
Jack Wang, Jess Grogan-Avignon
AI Engineer Europe 2026
Близко по содержанию

