← Каталог

· AI Engineer World's Fair 2026

Когда agents работают с физическими данными: другая физика harnesses

When Agents Meet Physical Data: The Other Physics of Agent Harnesses

Агентам на видео и сенсорных данных нужен data harness, который превращает сырые файлы в постоянные датасеты, и тогда повторные вопросы не требуют пересчёта.

  • Почему обычные агенты проваливаются — по публикации Anthropic, которую приводит спикер, точность агентов на data-проектах была 21%, пока не добавили специальные harness и контекст. Видео при этом вложено в клипы, кадры и объекты, и тысяча файлов легко дают миллионы записей.
  • Метаданные в Pydantic и базе вместо JSON на S3 — схема описывается на Python без отдельного SQL-слоя, а путь к файлу, ETag и размер становятся строкой таблицы. Поэтому подсчёт кадров с людьми идёт запросом, а не разбором миллионов JSON.
  • Чекпоинты и пересчёт только новых файлов — движок продолжает обработку после сбоя с места остановки и при появлении новых файлов считает только их. Это важно, когда каждый файл стоит вызовов LLM.
  • Датасеты как общая база знаний — агент сначала проверяет, есть ли готовый слой для вопроса, иначе строит его достаточно общим. Описание, схема и код хранятся в MD-файлах, чтобы команда не платила за одни и те же вычисления дважды.

Кому полезно: тем, кто строит агентов над видео, сенсорами или телеметрией робота и платит за повторную обработку тысяч файлов.

Статья по теме

Главы

Похожие доклады