← Каталог

· AI Engineer World's Fair 2025

Как выпускать работающий AI: фреймворк оценки для продакт-менеджеров

Shipping AI That Works: An Evaluation Framework for PMs

Оценки LLM-судьёй имеют смысл только тогда, когда их регулярно сверяют с человеческой разметкой, и эту проверку может вести PM.

  • Метка вместо числа — судье стоит просить текстовую метку вроде friendly или robotic и уже её переводить в балл, потому что, по словам спикера, LLM плохо работают с числовыми шкалами.
  • Разброс судьи — меньшая temperature снижает нестабильность оценок; спикер также советует несколько раз запускать eval и замерять разброс.
  • Судья проверяется людьми — на демо-примере разметка людьми почти полностью расходилась с оценкой судьи, и это стало сигналом переписать eval-промпт; по словам спикера, на подгонку может уйти 5–10 итераций.
  • Eval как требования — спикер предлагает передавать команде датасет и eval как критерий приёмки вместо PRD.

Кому полезно: PM и техлидам, которые хотят проверять промпты и LLM-судей на своих данных, а не по ощущениям.

Статья по теме

Главы

Ещё доклады: Aman Khan

Страница спикера →

Похожие доклады