← Каталог

· AI Engineer Europe 2026

Должна ли GenAI быть только в ведении дата-сайентистов?

Does GenAI "belong" to data scientists?

Агенты не должны принадлежать только data scientists: модели уже обучены провайдерами, а главная работа сместилась к промптам, контексту и evals.

  • Состав команды шире ML-платформы — спикер противопоставляет компании, которые передают агентов команде ML-платформы, и AI-native компании с небольшими кросс-функциональными командами. Там продуктовые и AI-инженеры работают вместе, а эксперты предметной области ближе всех к задаче.
  • Поведение меняют промптами, а не переобучением — у готовой модели поведение меняют входными данными: промптами и контекстом. По словам спикера, fine-tuning в таких проектах редкость.
  • Судей для оценок нужно проверять — LLM-as-judge это тоже промпты и модели, поэтому спикер советует сверять их с размеченным датасетом и считать precision, recall и F1. Здесь пригодится опыт data scientists.
  • Цикл оценки замыкается на продакшене — данные из продакшена регулярно добавляются в оффлайн-датасет, а согласованность LLM-судей с разметкой людей проверяется, чтобы видеть, когда оценки расходятся.

Кому полезно: командам, где агенты пока ведёт ML-платформа, и тем, кто решает, какие роли нужны для evals и разметки трасс.

Статья по теме

Главы

Ещё доклады: Phil Hetzel

Страница спикера →

Похожие доклады