Бэктестинг агента на вчерашнем вебе
Backtest Your Agent Against Yesterday's Web — Ryan Ahern, Exa
Веб-поиск агента для бэктеста нужно фиксировать на дату до события, иначе будущие факты утекают в проверку прогноза.
- Утечка будущего в тест — живой поиск отдаёт актуальные новости, и прогноз прошлого может опираться на факт, который появился позже события. Exa Snapshot, по словам спикера, позволяет задать дату и проверить, поддержали бы сигналы того дня прогноз на самом деле.
- Исторические признаки для обычной модели — если страницы не хранят версий, нужные URL можно снять на нужные даты и подать признаки в ML-модель. Дата публикации статьи часто меняется, поэтому на неё как на признак полагаться не стоит.
- Агент с замороженным веб-доступом — модель для кодинга проверяют на дате до слияния PR во внешнем репозитории, чтобы решение задачи не опиралось на будущую информацию.
- Переобучение на публичных примерах — в воркшопе по предсказанию поглощений победители подгоняли правила под видимые компании. Спикер советует держать отложенную выборку (holdout set) и проверять результат на данных вне публичного набора.
Кому полезно: тем, кто строит агентов для финансового анализа или due diligence и хочет проверять их на прошлых событиях.
Статья по теме
Главы
Ещё доклады: Ryan Ahern
Страница спикера →Похожие доклады
Одних векторов недостаточно: гибридный поиск и извлечение данных
AI Engineer World's Fair 2026
Близко по содержанию
Grep или embeddings? Агентный поиск по корпоративным документам
Близко по содержанию
Создание более умного AI-агента с Neural RAG
AI Engineer World's Fair 2025
Близко по содержанию

