· AI Engineer World's Fair 2025
Эксперименты в реальном времени с AI co-scientist
Real-time Experiments with an AI Co-Scientist
Ассистент на Gemini, подключённый к микробитам, камерам и датчикам, анализирует эксперимент по данным с сенсоров во время его хода.
- Контекст под доступные входы — перед каждым запросом система проверяет, какие модальности активны: текст, голос, изображение, история чата или показания датчиков, и собирает контекст под них. Протокол эксперимента задаёт условия, которые попадают в каждый ответ модели.
- Датчики через WebUSB — показания Jacdac читаются прямо из React-приложения через WebUSB и уходят на бэкенд как вебхуки. Стек открытый, по словам спикера, всё железо стоит меньше 300 долларов.
- Детекция на камере — reCamera запускает модель на самом устройстве и отслеживает объект в реальном времени. По словам спикера, модель можно дообучить под свой объект, например под рост кристаллов.
- Рост кристаллов идёт вспышками — по записям с датчиков рост начинается резко, после достижения критического пересыщения, а не плавно, как ожидалось. Спикер получил этот вывод из CSV-данных, построив графики отдельным скриптом.
Кому полезно: тем, кто строит агентов или ассистентов для работы с физическими сенсорами и лабораторным оборудованием.
Главы
Ещё доклады: Stefania Druga
Страница спикера →Инструменты для нового поколения AI-инженеров
AI Engineer Summit 2025
Мультимодальное будущее образования
AI Engineer World's Fair 2024
Memory harnesses для долго работающих исследовательских агентов
AI Engineer World's Fair 2026
Похожие доклады
Как Google DeepMind исследует следующий рубеж ИИ для Gemini
AI Engineer Europe 2026
Близко по содержанию
Создание и запуск приложений на базе ИИ
AI Engineer Europe 2026
Близко по содержанию
EMMA от Waymo: как научить автомобили мыслить
AI Engineer World's Fair 2025
Близко по содержанию
