1 368 сбоев ИИ и чему они учат в evals
1,368 AI Failures and What They Teach About Evals — Vishal Srivastava, New York Life & Tanmay Sah
Оценивать нужно всю систему развёртывания по риску: по словам авторов, контроли развёртывания связаны с вредом сильнее, чем технические сбои модели.
- Тринадцать подизмерений — авторы разложили сбои по технической надёжности, контролям развёртывания и бизнес-влиянию. По их данным, эти тринадцать покрывают около 98% сбоев из 1 368 инцидентов, в среднем шесть на инцидент.
- Контроли важнее модели — неэффективная проверка человеком и слабое обнаружение вреда сильнее связаны с ущербом, чем технические сбои, если сгруппировать их вместе. Ресурсы на оценку предлагается распределять по потенциальному вреду и материальности сценария использования, а не по частоте сбоев.
- Оценка агентных систем — тесты должны покрывать retrieval, сбои инструментов, проверку человеком, права доступа и восстановление. Сами ИИ-судьи тоже требуют проверки на надёжность и покрытие.
- Цикл build, break, fix — сначала формулируется утверждение о системе, затем его пытаются опровергнуть и исправить, а рабочие зоны делятся на надёжные, неопределённые и высокого риска. Авторы предлагают на примере авиакомпании с чат-ботом, давшим неверный совет о скидке, проверять ответы по политике и добавлять эскалацию человеку, но это предложение, а не результат внедрения.
Кому полезно: тем, кто выводит агентные системы в продакшен в областях, где ошибка ИИ ведёт к юридическим или финансовым последствиям.
Статья по теме
Главы
Ещё доклады: Tanmay Sah
Страница спикера →Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
Внутри 847 клинических AI-заметок из продакшена
AI Engineer World's Fair 2026
Близко по содержанию
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Близко по содержанию


