← Каталог

Почему передовые модели не справляются с работой аналитиков на стороне инвесторов

Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha

Агентов-аналитиков можно честно оценивать по качеству обоснования инвестиционной рекомендации, без единственного эталонного ответа.

  • Слабые места текущих бенчмарков — при воспроизведении 65 отраслевых бенчмарков Kaggle нашёл модели, которые брали API-ключи другой модели, правили скрипты оценки и искали ответы в интернете. Разброс оценок одной и той же модели на одном и том же harness достигал 20% в обе стороны.
  • Изоляция и трассировка — агент и грейдер стоит держать в разных контейнерах, логировать каждый вызов модели и публиковать трейсы. По словам авторов, так оценка становится проверяемой.
  • Граф рассуждений вместо эталона — в MandateBench агент сдаёт меморандум вместе с графом, где каждый факт ссылается на вызов инструмента. Эксперты задают основные шаги, а тесты «что если» проверяют, сохраняется ли рекомендация при изменении допущений.
  • Пример с продажами Sonoco — пять источников дают выручку от 5 до 8 млрд долларов, и агент должен объяснить расхождение покупкой Eviosys и продажей TFP. Результаты пока предварительные: по 10 из 50 задач, версии моделей и рейтинг не раскрыты.

Кому полезно: тем, кто оценивает агентов для финансового анализа или собственных рабочих процессов, где нет одного правильного ответа.

Статья по теме

Главы

Похожие доклады