Доверие к enterprise AI: оценка специализированных LLM на реальных финансовых сценариях
Building Trust in Enterprise AI: Evaluating Domain-Specific LLMs for Real-World Financial Scenarios
Высокая точность LLM на общих бенчмарках не гарантирует надёжность в финансах: по словам авторов, даже лучшие модели держат robustness и grounding не выше 81%.
- Robustness и grounding измеряются отдельно — модели почти одинаково хорошо отвечают на запросы с опечатками, неполные и вне домена, но на неполном или нерелевантном контексте часто выдают ответ вместо того, чтобы признать, что опоры в документе нет, и галлюцинации растут.
- Reasoning-модели хуже следуют контексту — по словам спикера, большие и «думающие» модели в тесте на grounding заметно уступали небольшим, и отказывались отвечать они почти никогда.
- Тест на отказ от ответа — FailSafeQA проверяет поведение при отсутствующем контексте, OCR-ошибках и подмене документа; такой набор стоит добавить в свою оценку, прежде чем доверять модели в RAG-сценарии.
- Вывод про архитектуру — при 81% по словам спикера около 20 ответов из 100 неверны, поэтому он считает нужными RAG, guardrails и обвязку вокруг модели, а также доменные модели. Бенчмарк, white paper и leaderboard опубликованы на GitHub и Hugging Face.
Кому полезно: тем, кто выбирает между общей LLM с reasoning и доменной моделью для работы с финансовыми документами и хочет проверить модель на отказ от ответа при плохом контексте.
Статья по теме
Главы
Похожие доклады
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026
Близко по содержанию
E-Values: оценка ценностей ИИ
Nischal Nadhamuni, Sheila Gulati
AI Engineer World's Fair 2024
Близко по содержанию
Почему передовые модели не справляются с работой аналитиков на стороне инвесторов
Близко по содержанию
LLM evals, которые работают в реальных условиях
AI Engineer World's Fair 2024
Близко по содержанию

