· AI Engineer World's Fair 2026
Оценка видео-слопа
Evaling Video Slop
Генерированное видео надёжнее оценивать попарным сравнением и маленькой VLM-судьёй, чем абсолютными баллами: так дефекты ловятся раньше, по словам спикера.
- Попарное сравнение вместо баллов — люди уверенно выбирают, какой из двух роликов лучше, но по шкале от 1 до 10 ставят разные оценки, поэтому модель обучали на парах.
- Судья уверенно ошибался — первая версия ставила высокий балл за камеру в ролике, где камера не двигалась. По словам спикера, причина в том, что модель училась на общем «глянце» видео, а не на осях качества.
- Пары из реального и AI-видео — чтобы судья не превратился в детектор ИИ, оба вида кодировали одинаково и размечали оси одним методом.
- Проверка до склейки — дрейф персонажа ловят на стартовых кадрах и на отдельных отрезках длинного видео, что дешевле переделки готового ролика. Модье на базе Qwen оценивает 15-секундное видео примерно за три секунды.
Кому полезно: тем, кто строит оценку генерации видео и хочет ловить дефекты до финальной сборки.
Статья по теме
Главы
Похожие доклады
Оценить оценщика: как создавать действительно работающие LLM-оценщики с GEPA
AI Engineer Europe 2026
Близко по содержанию
20 дней вычислений против 7 часов: переосмысливая понятие state-of-the-art
AI Engineer Europe 2026
Близко по содержанию
Agent evals: наконец-то с картой
AI Engineer Summit 2025
Близко по содержанию
Основы evals
AI Engineer World's Fair 2025
Близко по содержанию

