Создание и запуск приложений на базе ИИ
Build & deploy AI-powered apps
Небольшая модель Gemini с инструментами code execution и grounding решает задачи визуального анализа с первой попытки и стоит, по словам спикера, долю цента за запрос.
- Маленькая модель с инструментами — Gemini 3.1 Flash Lite с code execution нарисовала рамки вокруг нужных деталей на фото с первой попытки, а Gemini 3 Flash дала тот же ответ медленнее и дороже.
- Видео по ссылке — YouTube URL передаётся модели напрямую, можно задать начало и конец фрагмента; по умолчанию берётся один кадр в секунду, пять минут видео заняли около 27,6 тысячи токенов.
- URL context вместо векторной базы — список страниц добавляется в контекст, и модель цитирует источники прямо в ответе; так можно работать с материалами, появившимися после даты обучения модели, без отдельного retrieval.
- Голос через system instructions — язык, акцент и стиль речи Gemini Live задаются инструкциями, а не цепочкой из распознавания речи, LLM и синтеза речи.
Кому полезно: тем, кто прототипирует мультимодальные сценарии и хочет проверить, хватит ли дешёвой модели Gemini для задачи, до написания кода. Доклад почти целиком состоит из демо продуктов Google, но инженерные приёмы в них переносимы.
Статья по теме
На какие вопросы отвечает доклад
Можно ли заменить большую модель маленькой для анализа изображений с написанием кода?
Gemini 3.1 Flash Lite с code execution сразу нарисовала рамки вокруг зелёных кубиков Lego, потратив долю цента. Gemini 3 Flash дала тот же ответ, но медленнее и дороже.
▶ 7:19Инструменты для привязки к данным и компактные модели GeminiКак дать LLM актуальную информацию без настройки векторной базы?
Grounding с Google Search и Google Maps, а также URL context со списком ссылок добавляют внешние данные в контекст модели с цитатами источников. Для внутренних документов в Vertex есть retrieval без отдельной векторной базы.
▶ 7:19Инструменты для привязки к данным и компактные модели GeminiКак собрать голосового ассистента, который переходит на язык собеседника?
Gemini Live принимает аудио и демонстрацию экрана, отвечает на языке собеседника и меняет акцент или стиль по запросу. Жёстко заданный язык и тон задаются системными инструкциями.
▶ 20:30Мультимодальное взаимодействие в реальном времени и прототипирование приложенийКак быстро прототипировать приложение с базой данных и входом через Google?
Режим Build в AI Studio по голосовому описанию создал приложение с Firestore и логином Google. Оно извлекает книги с фото полки, дополняет их данными из поиска и сохраняет список для пользователя.
▶ 20:30Мультимодальное взаимодействие в реальном времени и прототипирование приложенийМожно ли превратить мир из Genie 3 в 3D-ассет для игрового движка?
Нельзя: Genie 3 выдаёт только кадры-пиксели, без мешей и физического движка. API пока нет, команда рассматривает программу доверенных тестировщиков, доступ открыт по подписке Ultra в отдельных странах.
▶ 32:16Генерация миров в Project Genie и её ограниченияКак бесплатно протестировать открытую модель перед развёртыванием на своём железе?
Модели Gemma 4 доступны через API в AI Studio бесплатно. Веса выложены под лицензией Apache 2 для дообучения и запуска у себя, а самые маленькие версии работают на телефонах.
▶ 47:29Генеративное видео, доступ к API и музыкаКак искать по видео, аудио, картинкам и тексту одним запросом?
Embeddings-модель Gemini помещает видео, изображения, аудио, текст и код в одно пространство. По запросу про кошек находятся ролики, фото, звуки мурлыканья и книги о кошках.
▶ 0:00Введение и обзор моделей Google DeepMind
Главы
Ещё доклады: Paige Bailey
Все 4 доклада →От исследований к реальности вместе с Google DeepMind
AI Engineer World's Fair 2026
Veo 3 для разработчиков
AI Engineer World's Fair 2025
Битва за frontier AI
Paige Bailey, Barr Yaron, Colin Flaherty, Shrestha Basu Mallick, John, Mihir, Petra, Steven, Tina
AI Engineer Summit 2025
Похожие доклады
Создание и запуск приложений на базе ИИ
Paige Bailey, Ian Ballantyne, Guillaume Vernade
AI Engineer Europe 2026
Тот же спикер: Paige Bailey
Как Google DeepMind исследует следующий рубеж ИИ для Gemini
AI Engineer Europe 2026
Близко по содержанию
EMMA от Waymo: как научить автомобили мыслить
AI Engineer World's Fair 2025
Близко по содержанию

