← Каталог

· AI Engineer World's Fair 2024

E-Values: оценка ценностей ИИ

E-Values: Evaluating the Values of AI

Evals для генеративных фич стоит строить от пользовательского результата назад, а не от того, что легко измерить.

  • UX до evals — фичи сначала проверяют на пользователях, а полноценные evals строят перед выводом в продакшен. По словам спикера, многие фичи отсеиваются уже на этапе UX, и время на evals для них не тратится.
  • Разметка под каждого клиента — на приёмочном тестировании размечают данные конкретного клиента и считают точность под его сценарий использования. По словам спикера, модель, которая лучше на MMLU, могла проигрывать на внутренних тестах Klarity.
  • Меньше степеней свободы — для автоматического подбора промптов используют один LLM вместо перебора по сетке «модель, клиент, фича». По словам спикера, это дешевле, хотя перебор мог бы дать ещё процент точности.
  • Быстрые evals для будущих возможностей — заранее набрасывают грубые evals под процессы, которых у клиентов ещё нет. При выходе мультимодальной модели команда за час составила представление о её сильных и слабых сторонах: хорошо с галочками, хуже с круговыми диаграммами.

Кому полезно: тем, кто выводит в продакшен генеративные фичи для работы с документами и строит evals под разных клиентов.

Статья по теме

Главы

Похожие доклады