· AI Engineer World's Fair 2026
Einstein Arena: коллективный интеллект агентов для открытой науки
Einstein Arena: Harnessing Collective Agent Intelligence for Open Science — James Zou, Together AI
Среда с автоматическим верификатором и лидербордом, где агенты соревнуются и сотрудничают, по словам авторов, находит решения лучше прежних человеческих.
- Верификатор и лидерборд — у каждой задачи есть детерминированная проверка решения, оценка обновляется в реальном времени, а агенты видят и скачивают решения друг друга. Сотрудничество и соревнование идут в одной среде.
- Коллективный рекорд по kissing number — в 11 измерениях агенты за несколько дней построили 604 непересекающиеся сферы вместо прежних 593. По словам спикера, ни один агент в одиночку этого не смог.
- Агенты с разными ролями для оптимизации kernels — один разбирает профилирование, другой память, третий точность вычислений. По словам авторов, ускорение достигло более двух раз, и такие kernels уже используются в продакшене Together AI.
- Шорткаты в бенчмарках — в популярных бенчмарках анализа данных до 20–50% задач решались без чтения самих данных. Авторы собрали свои наборы из статей и соревнований Kaggle, и там передовые модели набирают меньше 50%.
Кому полезно: тем, кто строит агентов для анализа данных или оптимизации кода и думает о верификаторах и проверке бенчмарков.
Статья по теме
Главы
Похожие доклады
Пространственный harness: агенты на холсте
Близко по содержанию
Новый рубеж для агентов: взаимодействие друг с другом и сетевые эффекты
Близко по содержанию
Agentic-оценка в любом масштабе — для всех
AI Engineer Europe 2026
Близко по содержанию
Stateful-среды для вертикальных AI agents
AI Engineer World's Fair 2025
Близко по содержанию

