← Каталог

· AI Engineer Summit 2023

Как оценить модель для своей задачи

How to evaluate a model for your use case

Общие бенчмарки вроде GLUE не показывают, как модель справится с вашей задачей, поэтому выходы можно оценивать другой LLM по своим критериям.

  • LLM как судья — модель-оценщик получает описание задачи, критерии и шкалу, например от 1 до 10, и ставит балл каждому ответу; распределение баллов по всему датасету показывает качество модели на ваших данных. Пример: вежливость закрывающих фраз в деловых письмах.
  • Цена оценщика — по словам спикера, GPT-4 лучше всех справляется с такой оценкой, но дорог на больших датасетах, а Flan-T5 даёт хороший баланс скорости и точности.
  • Ограничения метрик — BLEU и ROUGE измеряют перекрытие с эталоном и не учитывают грамматику и понятность текста. GLUE, HellaSwag, TriviaQA и ARC описывают общие способности и не говорят, как модель извлечёт симптомы из заметок врача.
  • Сравнение на датасете — спикер представляет Airtrain, свой продукт, который сравнивает модели вроде Llama 2 и Falcon на загруженном датасете по заданным метрикам.

Кому полезно: тем, кто выбирает модель под конкретную задачу и должен измерить её качество на своих данных.

Статья по теме

Главы

Похожие доклады