← Каталог

· AI Engineer Summit 2025

Доверие к enterprise AI: оценка специализированных LLM на реальных финансовых сценариях

Building Trust in Enterprise AI: Evaluating Domain-Specific LLMs for Real-World Financial Scenarios

Высокая точность LLM на общих бенчмарках не гарантирует надёжность в финансах: по словам авторов, даже лучшие модели держат robustness и grounding не выше 81%.

  • Robustness и grounding измеряются отдельно — модели почти одинаково хорошо отвечают на запросы с опечатками, неполные и вне домена, но на неполном или нерелевантном контексте часто выдают ответ вместо того, чтобы признать, что опоры в документе нет, и галлюцинации растут.
  • Reasoning-модели хуже следуют контексту — по словам спикера, большие и «думающие» модели в тесте на grounding заметно уступали небольшим, и отказывались отвечать они почти никогда.
  • Тест на отказ от ответа — FailSafeQA проверяет поведение при отсутствующем контексте, OCR-ошибках и подмене документа; такой набор стоит добавить в свою оценку, прежде чем доверять модели в RAG-сценарии.
  • Вывод про архитектуру — при 81% по словам спикера около 20 ответов из 100 неверны, поэтому он считает нужными RAG, guardrails и обвязку вокруг модели, а также доменные модели. Бенчмарк, white paper и leaderboard опубликованы на GitHub и Hugging Face.

Кому полезно: тем, кто выбирает между общей LLM с reasoning и доменной моделью для работы с финансовыми документами и хочет проверить модель на отказ от ответа при плохом контексте.

Статья по теме

Главы

Похожие доклады