← Каталог

· AI Engineer World's Fair 2026

Несоответствие модальностей и атрибуция оригинальности в коротких видео

Modality Misalignment and Originality Attribution in Short-Form Video — Aditya Gautam, Meta

Разбиение задачи на три агента на небольших специализированных VLM помогает находить рассогласование модальностей и неоригинальный контент в коротких видео.

  • Разделение восприятия и суждения — агент восприятия режет видео на клипы, сжимая похожие кадры вместо фиксированной частоты, а агент проверки по временным метаданным ищет внутри ролика резкий уход в чужую тему, например от спорта к политике.
  • Индексы под разные сигналы — темы хранятся в инвертированном индексе, эмбеддинги в векторной базе, сущности в графовой; агент проверки дополнительно учитывает реакции зрителей и тональность комментариев.
  • Дообучение на своих данных — по словам спикера, готовые VLM плохо работают с шумным пользовательским контентом, поэтому модели дообучают на внутренних разметках с JSON-схемой ответа, а затем дистиллируют и квантуют, сверяя качество и стоимость по таблице размеров.
  • Отсев до полного пайплайна — кэш для вирусных копий с высокой схожестью и фильтрация по метаданным авторов с хорошей репутацией позволяют пропускать часть видео мимо мультиагентной системы.

Кому полезно: тем, кто строит мультиагентную обработку видео на большом объёме и считает стоимость инференса небольших моделей.

Статья по теме

Главы

Похожие доклады