← Каталог

Бэктестинг агента на вчерашнем вебе

Backtest Your Agent Against Yesterday's Web — Ryan Ahern, Exa

Веб-поиск агента для бэктеста нужно фиксировать на дату до события, иначе будущие факты утекают в проверку прогноза.

  • Утечка будущего в тест — живой поиск отдаёт актуальные новости, и прогноз прошлого может опираться на факт, который появился позже события. Exa Snapshot, по словам спикера, позволяет задать дату и проверить, поддержали бы сигналы того дня прогноз на самом деле.
  • Исторические признаки для обычной модели — если страницы не хранят версий, нужные URL можно снять на нужные даты и подать признаки в ML-модель. Дата публикации статьи часто меняется, поэтому на неё как на признак полагаться не стоит.
  • Агент с замороженным веб-доступом — модель для кодинга проверяют на дате до слияния PR во внешнем репозитории, чтобы решение задачи не опиралось на будущую информацию.
  • Переобучение на публичных примерах — в воркшопе по предсказанию поглощений победители подгоняли правила под видимые компании. Спикер советует держать отложенную выборку (holdout set) и проверять результат на данных вне публичного набора.

Кому полезно: тем, кто строит агентов для финансового анализа или due diligence и хочет проверять их на прошлых событиях.

Статья по теме

Главы

Ещё доклады: Ryan Ahern

Страница спикера →

Похожие доклады