← Каталог

· AI Engineer Europe 2026

Any-to-Any: создание нативных мультимодальных агентов

Any-to-Any: Building Native Multimodal Agents

Агент строится циклом, где Gemini как reasoning-модель сама решает, какие картинки и аудио создать, и вызывает для этого специализированные модели.

  • Понимание смешанных источников — Gemini принимает PDF, видео, аудио и YouTube-ссылки напрямую; по словам спикера, минута аудио занимает около 1920 токенов, поэтому в окно на миллион токенов помещается более девяти часов записи.
  • Генерация через function calling — агенту передаются функции generateImage и generateSpeech с описанием и параметром prompt, а модель сама выбирает, какие концепты визуализировать и какие разделы озвучить.
  • Кэширование контекста — при длинных файлах и повторных запросах context caching, по словам спикера, экономит 90% стоимости.
  • Аудио напрямую в аудио — модель Gemini 3.1 Flash Live работает без каскада из нескольких моделей, что даёт более естественный диалог в реальном времени.

Кому полезно: тем, кто собирает на Gemini API агента с картинками, речью и видео. Доклад во многом презентация продуктов Google.

Статья по теме

Главы

Похожие доклады