· AI Engineer World's Fair 2024
E-Values: оценка ценностей ИИ
E-Values: Evaluating the Values of AI
Evals для генеративных фич стоит строить от пользовательского результата назад, а не от того, что легко измерить.
- UX до evals — фичи сначала проверяют на пользователях, а полноценные evals строят перед выводом в продакшен. По словам спикера, многие фичи отсеиваются уже на этапе UX, и время на evals для них не тратится.
- Разметка под каждого клиента — на приёмочном тестировании размечают данные конкретного клиента и считают точность под его сценарий использования. По словам спикера, модель, которая лучше на MMLU, могла проигрывать на внутренних тестах Klarity.
- Меньше степеней свободы — для автоматического подбора промптов используют один LLM вместо перебора по сетке «модель, клиент, фича». По словам спикера, это дешевле, хотя перебор мог бы дать ещё процент точности.
- Быстрые evals для будущих возможностей — заранее набрасывают грубые evals под процессы, которых у клиентов ещё нет. При выходе мультимодальной модели команда за час составила представление о её сильных и слабых сторонах: хорошо с галочками, хуже с круговыми диаграммами.
Кому полезно: тем, кто выводит в продакшен генеративные фичи для работы с документами и строит evals под разных клиентов.
Статья по теме
Главы
Похожие доклады
Evals AI-агентов для задач с высокой ценой ошибки
Annabell Schäfer, Doneyli De Jesus
Близко по содержанию
Надёжный AI-инференс, которому доверится CIO
Hariharan Ganesan, Sahil Yadav
AI Engineer World's Fair 2025
Близко по содержанию
Практические приёмы создания надёжных AI-приложений
AI Engineer World's Fair 2025
Близко по содержанию
Пять уроков об evals, усвоенных на собственном опыте
AI Engineer World's Fair 2025
Близко по содержанию
