← Каталог

· AI Engineer World's Fair 2026

Панель о передовых генеративных медиа

SOTA Generative Media Panel — Dumitru Erhan, Shane Gu & Nicole Brichtova, Google DeepMind

swyx, Dumitru Erhan и ещё 2 спикераВсе 4Свернуть

Оценка генеративных медиамоделей упирается в людей: предпочтения оптимизируют красивую картинку, а эксперты и реальные рабочие процессы находят ошибки, которые пропускают общие тесты.

  • Видеомодель как основа для пространства и времени — по словам участников, видеомодели решают часть классических задач компьютерного зрения без дообучения и хорошо чувствуют физику, что полезно для робототехники.
  • Язык как узкое место — подписи к кадрам сжимают сцену с потерями: тембр голоса, акустику комнаты и фактуру кожи словами передать трудно, поэтому панель видит смысл в мультимодальных условиях.
  • Предпочтения людей обманчивы — при попарном сравнении люди выбирали сгенерированные ролики над реальными, хотя они не реалистичнее; такой сдвиг похож на reward hacking, а артефакт с кольцами на руках нашли доверенные тестеры.
  • Ошибки видят клиенты — FDE передают в обучение сценарии вроде масштабирования узора на десять размеров ковров, примерки серёг по размеру головы и точного оттенка фирменного цвета.

Кому полезно: тем, кто строит оценку генеративных изображений и видео или собирает обратную связь от клиентов для дообучения.

Статья по теме

На какие вопросы отвечает доклад

  • Почему звук и видео лучше генерировать одной моделью, а не добавлять звук поверх готового видео?

    Звук и картинка порождаются одним причинным процессом, поэтому губы должны двигаться синхронно с речью. Команда перешла на совместную генерацию аудио и видео, так как подгонка звука постфактум давала плохой рассинхрон.

    ▶ 24:20Совместная генерация аудио и видео
  • Почему описания текстом плохо передают тембр, акустику комнаты и текстуру кожи в генерации?

    Язык универсален и хорошо задаёт причинные условия, но слов не хватает для тонких чувственных свойств: тембра, эха, оттенка кожи. Спикеры считают, что одного языка недостаточно и нужна видеомодель как дополнение.

    ▶ 26:28Как описать чувственный опыт
  • Как оценивать качество генерации видео, если автоматические метрики не справляются?

    Основной способ — человеческие парные оценки side by side, а тонкие различия проверяют живыми экспериментами на большом трафике. Ранние доступы и тестировщики из реальных рабочих процессов ловят поломки, которые общие оценки пропускают.

    ▶ 41:34Оценка сгенерированного видео
  • Почему генеративная модель картинок начинает выдавать лишние кольца на руках и перегруженные инфографики?

    Модель оптимизируют под предпочтения людей, и она усиливает то, что нравится на глаз: насыщенность, гладкость, плотность. По словам команды, так появляются артефакты вроде обручальных колец на руках, которые не замечали при разработке. Это похоже на reward hacking.

    ▶ 38:03Стиль по умолчанию и обратная связь
  • Как найти провалы генеративной модели, которые не видны на общих оценках и проявляются в реальных задачах?

    Помогает обратная связь от экспертов и клиентов с их реальными задачами. Например, узор при масштабировании на разные размеры или примерка украшений, где размер не совпадает с головой, модель ломает, и такие сбои не видны на общих оценках.

    ▶ 52:50Обратная связь клиентов и разработка моделей
  • Можно ли использовать модель генерации видео для задач компьютерного зрения и физических рассуждений?

    По словам спикеров, видеомодель хорошо отражает пространственно-временную информацию: классические задачи компьютерного зрения можно решать zero-shot, а физическая интуиция полезна для робототехники. Этому посвящена работа о видеомоделях как zero-shot learners и reasoners.

    ▶ 7:45Видео-agents и мультимодальное рассуждение

Главы

Ещё доклады: swyx

Все 12 докладов →

Похожие доклады