← Каталог

· AI Engineer Europe 2026

Как Google DeepMind исследует следующий рубеж ИИ для Gemini

How Google DeepMind is researching the next Frontier of AI for Gemini — Raia Hadsell, VP of Research

Не-языковые модели Google DeepMind уже дают практическую пользу: единый embedding для текста, видео, аудио и PDF и погодные модели, которые, по словам спикера, опережают физические.

  • Единый embedding для всех модальностей — Gemini Embedding 2 строит один вектор для текста до 8K токенов, 128 секунд видео, 80 секунд аудио и целого PDF, поэтому не нужно сводить модальности разными шагами.
  • Matryoshka Representation Learning — одна сеть отдаёт векторы разной размерности: поиск можно начать на 256 измерениях и при необходимости расширить.
  • Прогноз погоды на графовой сети — GraphCast на сферическом графе прогнозирует атмосферу до 15 дней; на примере урагана Lee он, по словам авторов, верно указал место выхода на берег за девять дней против шести у физических моделей. GenCast добавил вероятностный прогноз, а FGN предсказывает циклоны напрямую, без отдельного детектора.
  • Память в world models — Genie 3 при возврате в начальную точку сохраняет исходное окружение, и спикер использует это как тест консистентности интерактивных миров.

Кому полезно: тем, кто строит мультимодальный поиск по видео, аудио и документам.

Статья по теме

Главы

Похожие доклады