· AI Engineer World's Fair 2026
Когда agents работают с физическими данными: другая физика harnesses
When Agents Meet Physical Data: The Other Physics of Agent Harnesses
Агентам на видео и сенсорных данных нужен data harness, который превращает сырые файлы в постоянные датасеты, и тогда повторные вопросы не требуют пересчёта.
- Почему обычные агенты проваливаются — по публикации Anthropic, которую приводит спикер, точность агентов на data-проектах была 21%, пока не добавили специальные harness и контекст. Видео при этом вложено в клипы, кадры и объекты, и тысяча файлов легко дают миллионы записей.
- Метаданные в Pydantic и базе вместо JSON на S3 — схема описывается на Python без отдельного SQL-слоя, а путь к файлу,
ETagи размер становятся строкой таблицы. Поэтому подсчёт кадров с людьми идёт запросом, а не разбором миллионов JSON. - Чекпоинты и пересчёт только новых файлов — движок продолжает обработку после сбоя с места остановки и при появлении новых файлов считает только их. Это важно, когда каждый файл стоит вызовов LLM.
- Датасеты как общая база знаний — агент сначала проверяет, есть ли готовый слой для вопроса, иначе строит его достаточно общим. Описание, схема и код хранятся в MD-файлах, чтобы команда не платила за одни и те же вычисления дважды.
Кому полезно: тем, кто строит агентов над видео, сенсорами или телеметрией робота и платит за повторную обработку тысяч файлов.
Статья по теме
Главы
Похожие доклады
А что, если harness важнее модели?
AI Engineer World's Fair 2026
Близко по содержанию
Слой контекста данных для agents
Brandon Callender, Yoni Michael
AI Engineer World's Fair 2026
Близко по содержанию
Гений с амнезией
AI Engineer World's Fair 2026
Близко по содержанию
Умер ли agent harness?
Близко по содержанию
