Как Google DeepMind исследует следующий рубеж ИИ для Gemini
How Google DeepMind is researching the next Frontier of AI for Gemini — Raia Hadsell, VP of Research
Не-языковые модели Google DeepMind уже дают практическую пользу: единый embedding для текста, видео, аудио и PDF и погодные модели, которые, по словам спикера, опережают физические.
- Единый embedding для всех модальностей — Gemini Embedding 2 строит один вектор для текста до 8K токенов, 128 секунд видео, 80 секунд аудио и целого PDF, поэтому не нужно сводить модальности разными шагами.
- Matryoshka Representation Learning — одна сеть отдаёт векторы разной размерности: поиск можно начать на 256 измерениях и при необходимости расширить.
- Прогноз погоды на графовой сети — GraphCast на сферическом графе прогнозирует атмосферу до 15 дней; на примере урагана Lee он, по словам авторов, верно указал место выхода на берег за девять дней против шести у физических моделей. GenCast добавил вероятностный прогноз, а FGN предсказывает циклоны напрямую, без отдельного детектора.
- Память в world models — Genie 3 при возврате в начальную точку сохраняет исходное окружение, и спикер использует это как тест консистентности интерактивных миров.
Кому полезно: тем, кто строит мультимодальный поиск по видео, аудио и документам.
Статья по теме
Главы
Похожие доклады
EMMA от Waymo: как научить автомобили мыслить
AI Engineer World's Fair 2025
Близко по содержанию
Отрываемся с GenMedia
AI Engineer Europe 2026
Близко по содержанию
Создание и запуск приложений на базе ИИ
AI Engineer Europe 2026
Близко по содержанию
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию

