← Каталог

· AI Engineer World's Fair 2026

Переосмысление сред для долгосрочной работы

Rethinking Environments for Long Horizon Work

Сложность долгих агентных задач стоит описывать через среду и модель-судью, а не только через время человека: по словам авторов, финансовые бенчмарки уже насыщены.

  • Сложность среды вместо длины цепочки — оценивать задачу нужно по числу инструментов, по тому, зависят ли поздние решения от ранних (последовательные цепочки против параллельных подзадач), и по неоднозначности исходных материалов. Ошибочный ранний запрос в дашборд или логах может испортить все последующие шаги.
  • Модель-судья с доступом к среде — судья проверяет финальное состояние среды и траекторию, а не только вызовы инструментов. Ему нужны права только на чтение, иначе он может случайно изменить среду после работы агента.
  • Траектории, доступные для запросов — длинные траектории не помещаются в контекст одного вызова. Их делят на фазы, обогащают метаданными и разбирают суб-агентами, чтобы находить точки сбоя и проверять их.
  • Бенчмарки ниже порога METR — в GDPval, BankerToolBench и APEX-Agents среднее человеческое время на задачу меньше порога METR. По словам авторов, на своём финансовом наборе из 50 задач оно около 15 часов, а результаты они приводят как mean@5 вместо pass@1.

Кому полезно: тем, кто строит RL-среды и модели-судьи для длинных агентных задач, особенно в финансах.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады