· AI Engineer World's Fair 2025
Создание метрик, которые действительно работают
Building Metrics That Actually Work — David Karam, Pi Labs
Надёжные метрики для LLM-приложений строятся как набор из десятков простых сигналов, откалиброванных по пользовательским оценкам, а не как один LLM-судья.
- Декомпозиция вместо одного судьи — оценка разбивается на измерения: вопросы на естественном языке и Python-проверки с весами разной важности. Доклад во многом представляет продукт Pi Labs, но этот подход применим и без него.
- Калибровка по данным — сигналы сводятся в один балл, а веса подбираются по пользовательским лайкам и дизлайкам. Согласованность оценки с людьми проверяется по матрице ошибок на примерно 120 примерах.
- Стабильность и скорость — по словам авторов, специализированные модели для скоринга дают одинаковый балл при повторном запуске и считают двадцать измерений за десятки миллисекунд, поэтому их можно запускать онлайн.
- Best-of-N с оценщиком — генерируются несколько ответов при temperature 0.7, и лучший выбирается по скорингу. По словам спикеров, качество растёт с числом образцов.
Кому полезно: инженерам, которые строят метрики для LLM-приложений и хотят связать их с поведением пользователей.
Статья по теме
Главы
Ещё доклады: David Karam
Страница спикера →Постепенно добавляем все техники RAG — запрос за запросом
AI Engineer World's Fair 2025
Похожие доклады
Как написать свой первый AI eval
Близко по содержанию
7 привычек эффективной оценки генеративного ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Создавайте evals, которые действительно важны
AI Engineer World's Fair 2026
Близко по содержанию

