← Каталог

· AI Engineer World's Fair 2025

Эксперименты в реальном времени с AI co-scientist

Real-time Experiments with an AI Co-Scientist

Ассистент на Gemini, подключённый к микробитам, камерам и датчикам, анализирует эксперимент по данным с сенсоров во время его хода.

  • Контекст под доступные входы — перед каждым запросом система проверяет, какие модальности активны: текст, голос, изображение, история чата или показания датчиков, и собирает контекст под них. Протокол эксперимента задаёт условия, которые попадают в каждый ответ модели.
  • Датчики через WebUSB — показания Jacdac читаются прямо из React-приложения через WebUSB и уходят на бэкенд как вебхуки. Стек открытый, по словам спикера, всё железо стоит меньше 300 долларов.
  • Детекция на камере — reCamera запускает модель на самом устройстве и отслеживает объект в реальном времени. По словам спикера, модель можно дообучить под свой объект, например под рост кристаллов.
  • Рост кристаллов идёт вспышками — по записям с датчиков рост начинается резко, после достижения критического пересыщения, а не плавно, как ожидалось. Спикер получил этот вывод из CSV-данных, построив графики отдельным скриптом.

Кому полезно: тем, кто строит агентов или ассистентов для работы с физическими сенсорами и лабораторным оборудованием.

Главы

Ещё доклады: Stefania Druga

Страница спикера →

Похожие доклады