· AI Engineer World's Fair 2026
Несоответствие модальностей и атрибуция оригинальности в коротких видео
Modality Misalignment and Originality Attribution in Short-Form Video — Aditya Gautam, Meta
Разбиение задачи на три агента на небольших специализированных VLM помогает находить рассогласование модальностей и неоригинальный контент в коротких видео.
- Разделение восприятия и суждения — агент восприятия режет видео на клипы, сжимая похожие кадры вместо фиксированной частоты, а агент проверки по временным метаданным ищет внутри ролика резкий уход в чужую тему, например от спорта к политике.
- Индексы под разные сигналы — темы хранятся в инвертированном индексе, эмбеддинги в векторной базе, сущности в графовой; агент проверки дополнительно учитывает реакции зрителей и тональность комментариев.
- Дообучение на своих данных — по словам спикера, готовые VLM плохо работают с шумным пользовательским контентом, поэтому модели дообучают на внутренних разметках с JSON-схемой ответа, а затем дистиллируют и квантуют, сверяя качество и стоимость по таблице размеров.
- Отсев до полного пайплайна — кэш для вирусных копий с высокой схожестью и фильтрация по метаданным авторов с хорошей репутацией позволяют пропускать часть видео мимо мультиагентной системы.
Кому полезно: тем, кто строит мультиагентную обработку видео на большом объёме и считает стоимость инференса небольших моделей.
Статья по теме
Главы
Похожие доклады
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
Чему мы научились, используя LLM в Pinterest
AI Engineer World's Fair 2025
Близко по содержанию
Оценка видео-слопа
AI Engineer World's Fair 2026
Близко по содержанию
Как создавали MiniMax M3: разреженное внимание и нативная мультимодальность
Близко по содержанию

