· AI Engineer World's Fair 2025
Как выпускать работающий AI: фреймворк оценки для продакт-менеджеров
Shipping AI That Works: An Evaluation Framework for PMs
Оценки LLM-судьёй имеют смысл только тогда, когда их регулярно сверяют с человеческой разметкой, и эту проверку может вести PM.
- Метка вместо числа — судье стоит просить текстовую метку вроде friendly или robotic и уже её переводить в балл, потому что, по словам спикера, LLM плохо работают с числовыми шкалами.
- Разброс судьи — меньшая temperature снижает нестабильность оценок; спикер также советует несколько раз запускать eval и замерять разброс.
- Судья проверяется людьми — на демо-примере разметка людьми почти полностью расходилась с оценкой судьи, и это стало сигналом переписать eval-промпт; по словам спикера, на подгонку может уйти 5–10 итераций.
- Eval как требования — спикер предлагает передавать команде датасет и eval как критерий приёмки вместо PRD.
Кому полезно: PM и техлидам, которые хотят проверять промпты и LLM-судей на своих данных, а не по ощущениям.
Статья по теме
Главы
Ещё доклады: Aman Khan
Страница спикера →Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Похожие доклады
Почему сложно создавать платформы для evals
AI Engineer Europe 2026
Близко по содержанию
Как написать свой первый AI eval
Близко по содержанию
Ломай, пока не заработает: создаём самоулучшающийся стек для AI-агентов
AI Engineer World's Fair 2025
Близко по содержанию

