← Каталог

· AI Engineer World's Fair 2026

Einstein Arena: коллективный интеллект агентов для открытой науки

Einstein Arena: Harnessing Collective Agent Intelligence for Open Science — James Zou, Together AI

Среда с автоматическим верификатором и лидербордом, где агенты соревнуются и сотрудничают, по словам авторов, находит решения лучше прежних человеческих.

  • Верификатор и лидерборд — у каждой задачи есть детерминированная проверка решения, оценка обновляется в реальном времени, а агенты видят и скачивают решения друг друга. Сотрудничество и соревнование идут в одной среде.
  • Коллективный рекорд по kissing number — в 11 измерениях агенты за несколько дней построили 604 непересекающиеся сферы вместо прежних 593. По словам спикера, ни один агент в одиночку этого не смог.
  • Агенты с разными ролями для оптимизации kernels — один разбирает профилирование, другой память, третий точность вычислений. По словам авторов, ускорение достигло более двух раз, и такие kernels уже используются в продакшене Together AI.
  • Шорткаты в бенчмарках — в популярных бенчмарках анализа данных до 20–50% задач решались без чтения самих данных. Авторы собрали свои наборы из статей и соревнований Kaggle, и там передовые модели набирают меньше 50%.

Кому полезно: тем, кто строит агентов для анализа данных или оптимизации кода и думает о верификаторах и проверке бенчмарков.

Статья по теме

Главы

Похожие доклады