· AI Engineer World's Fair 2026
Панель о передовых генеративных медиа
SOTA Generative Media Panel — Dumitru Erhan, Shane Gu & Nicole Brichtova, Google DeepMind
swyx, Dumitru Erhan и ещё 2 спикераВсе 4Свернуть
Оценка генеративных медиамоделей упирается в людей: предпочтения оптимизируют красивую картинку, а эксперты и реальные рабочие процессы находят ошибки, которые пропускают общие тесты.
- Видеомодель как основа для пространства и времени — по словам участников, видеомодели решают часть классических задач компьютерного зрения без дообучения и хорошо чувствуют физику, что полезно для робототехники.
- Язык как узкое место — подписи к кадрам сжимают сцену с потерями: тембр голоса, акустику комнаты и фактуру кожи словами передать трудно, поэтому панель видит смысл в мультимодальных условиях.
- Предпочтения людей обманчивы — при попарном сравнении люди выбирали сгенерированные ролики над реальными, хотя они не реалистичнее; такой сдвиг похож на reward hacking, а артефакт с кольцами на руках нашли доверенные тестеры.
- Ошибки видят клиенты — FDE передают в обучение сценарии вроде масштабирования узора на десять размеров ковров, примерки серёг по размеру головы и точного оттенка фирменного цвета.
Кому полезно: тем, кто строит оценку генеративных изображений и видео или собирает обратную связь от клиентов для дообучения.
Статья по теме
На какие вопросы отвечает доклад
Почему звук и видео лучше генерировать одной моделью, а не добавлять звук поверх готового видео?
Звук и картинка порождаются одним причинным процессом, поэтому губы должны двигаться синхронно с речью. Команда перешла на совместную генерацию аудио и видео, так как подгонка звука постфактум давала плохой рассинхрон.
▶ 24:20Совместная генерация аудио и видеоПочему описания текстом плохо передают тембр, акустику комнаты и текстуру кожи в генерации?
Язык универсален и хорошо задаёт причинные условия, но слов не хватает для тонких чувственных свойств: тембра, эха, оттенка кожи. Спикеры считают, что одного языка недостаточно и нужна видеомодель как дополнение.
▶ 26:28Как описать чувственный опытКак оценивать качество генерации видео, если автоматические метрики не справляются?
Основной способ — человеческие парные оценки side by side, а тонкие различия проверяют живыми экспериментами на большом трафике. Ранние доступы и тестировщики из реальных рабочих процессов ловят поломки, которые общие оценки пропускают.
▶ 41:34Оценка сгенерированного видеоПочему генеративная модель картинок начинает выдавать лишние кольца на руках и перегруженные инфографики?
Модель оптимизируют под предпочтения людей, и она усиливает то, что нравится на глаз: насыщенность, гладкость, плотность. По словам команды, так появляются артефакты вроде обручальных колец на руках, которые не замечали при разработке. Это похоже на reward hacking.
▶ 38:03Стиль по умолчанию и обратная связьКак найти провалы генеративной модели, которые не видны на общих оценках и проявляются в реальных задачах?
Помогает обратная связь от экспертов и клиентов с их реальными задачами. Например, узор при масштабировании на разные размеры или примерка украшений, где размер не совпадает с головой, модель ломает, и такие сбои не видны на общих оценках.
▶ 52:50Обратная связь клиентов и разработка моделейМожно ли использовать модель генерации видео для задач компьютерного зрения и физических рассуждений?
По словам спикеров, видеомодель хорошо отражает пространственно-временную информацию: классические задачи компьютерного зрения можно решать zero-shot, а физическая интуиция полезна для робототехники. Этому посвящена работа о видеомоделях как zero-shot learners и reasoners.
▶ 7:45Видео-agents и мультимодальное рассуждение
Главы
Ещё доклады: swyx
Все 12 докладов →Развитие AIE: открытая сессия вопросов и ответов и обратной связи
AI Engineer World's Fair 2026
Высший цикл
AI Engineer World's Fair 2026
Найм пригодных к работе agents и финал Startup Battlefield
AI Engineer World's Fair 2026
Похожие доклады
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
Генерация музыки с помощью ИИ: от промпта до готового трека
AI Engineer World's Fair 2024
Близко по содержанию
Новая медиасреда: как интерактивное видео в реальном времени меняет всё
AI Engineer World's Fair 2026
Близко по содержанию
Отрываемся с GenMedia
AI Engineer Europe 2026
Близко по содержанию




