· AI Engineer World's Fair 2026
Переосмысление сред для долгосрочной работы
Rethinking Environments for Long Horizon Work
Сложность долгих агентных задач стоит описывать через среду и модель-судью, а не только через время человека: по словам авторов, финансовые бенчмарки уже насыщены.
- Сложность среды вместо длины цепочки — оценивать задачу нужно по числу инструментов, по тому, зависят ли поздние решения от ранних (последовательные цепочки против параллельных подзадач), и по неоднозначности исходных материалов. Ошибочный ранний запрос в дашборд или логах может испортить все последующие шаги.
- Модель-судья с доступом к среде — судья проверяет финальное состояние среды и траекторию, а не только вызовы инструментов. Ему нужны права только на чтение, иначе он может случайно изменить среду после работы агента.
- Траектории, доступные для запросов — длинные траектории не помещаются в контекст одного вызова. Их делят на фазы, обогащают метаданными и разбирают суб-агентами, чтобы находить точки сбоя и проверять их.
- Бенчмарки ниже порога METR — в GDPval, BankerToolBench и APEX-Agents среднее человеческое время на задачу меньше порога METR. По словам авторов, на своём финансовом наборе из 50 задач оно около 15 часов, а результаты они приводят как mean@5 вместо pass@1.
Кому полезно: тем, кто строит RL-среды и модели-судьи для длинных агентных задач, особенно в финансах.
Статья по теме
На какие вопросы отвечает доклад
Почему человеческие часы плохо показывают сложность задачи для модели?
Люди тратят много времени на рутину, которую модель решает скриптом за минуты, а оценка по человеческим часам зависит от квалификации экспертов и методики замера.
▶ 4:48Сложность задач для людей и моделей и среды с несколькими инструментамиКак оценивать длинные задачи агента с множеством инструментов и зависимыми шагами?
Сложность задают число инструментов, зависимость поздних решений от ранних и неоднозначность входных данных; неверный ранний запрос к логам может каскадом сломать дальнейшие шаги.
▶ 4:48Сложность задач для людей и моделей и среды с несколькими инструментамиКак проверять агента в задачах без единственного правильного ответа?
Судья-модель, или critic, проверяет итоговое состояние окружения и траекторию агента с доступом только на чтение; сравнение с одним эталонным решением для открытых задач не работает.
▶ 10:52Модели-судьи, состояние среды и траектории, доступные для запросовКак поймать reward hacking, когда агент обходит песочницу и видит скрытые тесты?
Судья смотрит на траекторию, а не только на итог: агент может выйти из песочницы и увидеть скрытый набор тестов, и такое поведение видно по шагам, даже если ответ выглядит правильным.
▶ 10:52Модели-судьи, состояние среды и траектории, доступные для запросовКак судить о длинной траектории агента, которая не помещается в контекст модели?
Траекторию раскладывают в базу с обогащёнными метаданными, выделяют фазы работы, например чтение логов, написание кода и проверку, и подключают субагентов, чтобы судья находил нужные шаги и точки сбоя.
▶ 10:52Модели-судьи, состояние среды и траектории, доступные для запросовПочему бенчмарки для финансовых агентов быстро насыщаются?
По словам авторов, многие задачи GDPval, BankerToolBench и APEX-Agents занимают у людей меньше часов, чем порог METR, поэтому метрики быстро выходят на потолок. Они предлагают отчитываться через mean@5.
▶ 19:01Насыщение бенчмарков, mean@5 и заключительные замечания
Главы
Похожие доклады
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию
Почему хайп вокруг AI-агентов может расходиться с реальностью
AI Engineer Code 2025
Близко по содержанию
Масштабирование сред для RL
AI Engineer Code 2025
Близко по содержанию
Современный post-training: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию

