← Каталог

· AI Engineer World's Fair 2025

Создание метрик, которые действительно работают

Building Metrics That Actually Work — David Karam, Pi Labs

Надёжные метрики для LLM-приложений строятся как набор из десятков простых сигналов, откалиброванных по пользовательским оценкам, а не как один LLM-судья.

  • Декомпозиция вместо одного судьи — оценка разбивается на измерения: вопросы на естественном языке и Python-проверки с весами разной важности. Доклад во многом представляет продукт Pi Labs, но этот подход применим и без него.
  • Калибровка по данным — сигналы сводятся в один балл, а веса подбираются по пользовательским лайкам и дизлайкам. Согласованность оценки с людьми проверяется по матрице ошибок на примерно 120 примерах.
  • Стабильность и скорость — по словам авторов, специализированные модели для скоринга дают одинаковый балл при повторном запуске и считают двадцать измерений за десятки миллисекунд, поэтому их можно запускать онлайн.
  • Best-of-N с оценщиком — генерируются несколько ответов при temperature 0.7, и лучший выбирается по скорингу. По словам спикеров, качество растёт с числом образцов.

Кому полезно: инженерам, которые строят метрики для LLM-приложений и хотят связать их с поведением пользователей.

Статья по теме

Главы

Ещё доклады: David Karam

Страница спикера →

Похожие доклады