Инновации в Azure AI: несколько моделей, модальности и агенты
AI Engineer World's Fair 2024
Загружаем страницу…
Мультимодальные модели, компьютерное зрение, генерация изображений, видео и 3D, AI в создании контента.
Black Forest Labs рассказывает про FLUX, Krea про обучение генеративных моделей, Google DeepMind про Gemma и аудиостек Gemini. Спикеры разбирают малые vision-модели вроде Moondream, путь от генерации видео к интерактивным 3D-мирам, оценку эстетики и систему, которая создала контент на 200 миллионов просмотров.
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Большинство моделей генерации видео диффузионные. Они начинают с шума и шаг за шагом превращают его в последовательность кадров по текстовому описанию или изображению. Сложнее всего сохранить одинаковыми объекты и движение от кадра к кадру.
VLM - языковая модель, которая понимает изображения: описывает их, отвечает на вопросы по картинке, читает текст на скриншоте. Малые VLM работают прямо на устройстве и подходят для массовой обработки изображений.