Any-to-Any: создание нативных мультимодальных агентов
Any-to-Any: Building Native Multimodal Agents
Агент строится циклом, где Gemini как reasoning-модель сама решает, какие картинки и аудио создать, и вызывает для этого специализированные модели.
- Понимание смешанных источников — Gemini принимает PDF, видео, аудио и YouTube-ссылки напрямую; по словам спикера, минута аудио занимает около 1920 токенов, поэтому в окно на миллион токенов помещается более девяти часов записи.
- Генерация через function calling — агенту передаются функции generateImage и generateSpeech с описанием и параметром prompt, а модель сама выбирает, какие концепты визуализировать и какие разделы озвучить.
- Кэширование контекста — при длинных файлах и повторных запросах context caching, по словам спикера, экономит 90% стоимости.
- Аудио напрямую в аудио — модель Gemini 3.1 Flash Live работает без каскада из нескольких моделей, что даёт более естественный диалог в реальном времени.
Кому полезно: тем, кто собирает на Gemini API агента с картинками, речью и видео. Доклад во многом презентация продуктов Google.
Статья по теме
Главы
Похожие доклады
Агент, ты меня слышишь? Создаём голосовых агентов в реальном времени с Gemini
AI Engineer World's Fair 2026
Близко по содержанию
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
Год развития Gemini и что дальше
AI Engineer World's Fair 2025
Близко по содержанию
Создание и запуск приложений на базе ИИ
AI Engineer Europe 2026
Близко по содержанию

