· AI Engineer World's Fair 2025
Перцептивные evals: оценка эстетики
Perceptual Evaluations: Evals for Aesthetics — Diego Rodriguez, Krea.ai
Метрики вроде FID и CLIP плохо отражают восприятие человека, поэтому оценку генеративных медиа предлагается строить на моделях, которые учатся на человеческих предпочтениях.
- FID реагирует на незаметные артефакты — по данным статьи clean-fid, JPEG-артефакты почти не видны глазу, но сильно ухудшают оценку FID. Спикер показывает четыре изображения, которые выглядят почти одинаково, при этом FID для них резко растёт.
- Форматы сжатия как модель восприятия — JPEG, MP3 и MP4 удаляют то, что человек не различает, например уменьшают цветовые каналы. По словам спикера, изображение при этом теряет около половины информации, а на глаз разницы почти нет.
- Обучающие данные уже сжаты — значительная часть интернет-картинок прошла JPEG, и спикер предполагает, что ошибки восприятия и артефакты попадают в модели и в эталоны оценки.
- Классификатор вместо прокси-метрик — предлагается обучать оценщик на человеческих оценках, чтобы он учитывал артефакты любого вида, а не только JPEG.
Кому полезно: тем, кто оценивает генеративные изображения, видео или аудио и опирается на FID или CLIP.
Статья по теме
Главы
Ещё доклады: Diego Rodriguez
Страница спикера →Следующие единороги: 7 ведущих AI-стартапов из резиденции HF0
Alex Atallah, Eugene Cheah, Diego Rodriguez, David Vorick, Jonas Bauer, Shijia Liao
AI Engineer World's Fair 2025
Похожие доклады
Панель о передовых генеративных медиа
swyx, Dumitru Erhan, Nicole Brichtova, Shane Gu
AI Engineer World's Fair 2026
Близко по содержанию
Ваши evals бессмысленны — и вот как это исправить
AI Engineer Summit 2025
Близко по содержанию
Современное состояние генеративных медиа
AI Engineer World's Fair 2025
Близко по содержанию
Обучение Krea 2: что важно при обучении генеративных моделей
AI Engineer World's Fair 2026
Близко по содержанию

