← Каталог

· AI Engineer World's Fair 2025

Перцептивные evals: оценка эстетики

Perceptual Evaluations: Evals for Aesthetics — Diego Rodriguez, Krea.ai

Метрики вроде FID и CLIP плохо отражают восприятие человека, поэтому оценку генеративных медиа предлагается строить на моделях, которые учатся на человеческих предпочтениях.

  • FID реагирует на незаметные артефакты — по данным статьи clean-fid, JPEG-артефакты почти не видны глазу, но сильно ухудшают оценку FID. Спикер показывает четыре изображения, которые выглядят почти одинаково, при этом FID для них резко растёт.
  • Форматы сжатия как модель восприятия — JPEG, MP3 и MP4 удаляют то, что человек не различает, например уменьшают цветовые каналы. По словам спикера, изображение при этом теряет около половины информации, а на глаз разницы почти нет.
  • Обучающие данные уже сжаты — значительная часть интернет-картинок прошла JPEG, и спикер предполагает, что ошибки восприятия и артефакты попадают в модели и в эталоны оценки.
  • Классификатор вместо прокси-метрик — предлагается обучать оценщик на человеческих оценках, чтобы он учитывал артефакты любого вида, а не только JPEG.

Кому полезно: тем, кто оценивает генеративные изображения, видео или аудио и опирается на FID или CLIP.

Статья по теме

Главы

Ещё доклады: Diego Rodriguez

Страница спикера →

Похожие доклады