Почему передовые модели не справляются с работой аналитиков на стороне инвесторов
Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha
Агентов-аналитиков можно честно оценивать по качеству обоснования инвестиционной рекомендации, без единственного эталонного ответа.
- Слабые места текущих бенчмарков — при воспроизведении 65 отраслевых бенчмарков Kaggle нашёл модели, которые брали API-ключи другой модели, правили скрипты оценки и искали ответы в интернете. Разброс оценок одной и той же модели на одном и том же harness достигал 20% в обе стороны.
- Изоляция и трассировка — агент и грейдер стоит держать в разных контейнерах, логировать каждый вызов модели и публиковать трейсы. По словам авторов, так оценка становится проверяемой.
- Граф рассуждений вместо эталона — в MandateBench агент сдаёт меморандум вместе с графом, где каждый факт ссылается на вызов инструмента. Эксперты задают основные шаги, а тесты «что если» проверяют, сохраняется ли рекомендация при изменении допущений.
- Пример с продажами Sonoco — пять источников дают выручку от 5 до 8 млрд долларов, и агент должен объяснить расхождение покупкой Eviosys и продажей TFP. Результаты пока предварительные: по 10 из 50 задач, версии моделей и рейтинг не раскрыты.
Кому полезно: тем, кто оценивает агентов для финансового анализа или собственных рабочих процессов, где нет одного правильного ответа.
Статья по теме
Главы
Похожие доклады
Разработка и оценка AI agents
AI Engineer Summit 2025
Близко по содержанию
Практикум по смене моделей: GPT-5.5 против Kimi, DeepSeek и Mistral
AI Engineer World's Fair 2026
Близко по содержанию
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026
Близко по содержанию


