Не позволяйте моделям выдумывать числа
Do Not Let Models Invent Numbers - Vinoo Ganesh, Kepler
Архитектура финансового ресёрча строит ответ так: модель цитирует числа, детерминированный код их считает, а фильтр удаляет любое число без источника в реестре.
- Типизированные факты в реестре — каждое число хранит значение, единицу, масштаб и период, потому что цифра из отчёта 2025 года может относиться к выручке 2023 года. По словам спикера, обработано более 30 миллионов документов SEC.
- Пост-фильтр вместо доверия модели — числа, которые не совпали ни с одним зарегистрированным источником, вырезаются. По словам спикера, фильтр отклонил 10 981 цитату в своих evals, из них около 3 810 неверных чисел, но знаменатель и методика не раскрыты.
- Гибридный поиск с переранжированием по доверию — turbopuffer объединяет ANN и BM25, после слияния cross-encoder учитывает надёжность источника и конфликты между 10-K и звонком. Каждый найденный документ повторно авторизуется в Postgres как часть изоляции арендаторов.
- Граница гарантий — гарантия относится к выводу платформы, а не к модели: модель по-прежнему галлюцинирует, но непроверенное число в ответ не попадает. Доклад по сути презентация продукта Kepler, но его инженерная часть применима к любой RAG-системе с числами.
Кому полезно: тем, кто строит RAG над отчётностью или внутренними документами, где каждое число должно вести к первоисточнику.
Статья по теме
Главы
Ещё доклады: Vinoo Ganesh
Страница спикера →Похожие доклады
Хватит нарезать данные как в 2022 году
AI Engineer World's Fair 2026
Близко по содержанию
Почему передовые модели не справляются с работой аналитиков на стороне инвесторов
Близко по содержанию
Grep или embeddings? Агентный поиск по корпоративным документам
Близко по содержанию

