← Каталог

1 368 сбоев ИИ и чему они учат в evals

1,368 AI Failures and What They Teach About Evals — Vishal Srivastava, New York Life & Tanmay Sah

Оценивать нужно всю систему развёртывания по риску: по словам авторов, контроли развёртывания связаны с вредом сильнее, чем технические сбои модели.

  • Тринадцать подизмерений — авторы разложили сбои по технической надёжности, контролям развёртывания и бизнес-влиянию. По их данным, эти тринадцать покрывают около 98% сбоев из 1 368 инцидентов, в среднем шесть на инцидент.
  • Контроли важнее модели — неэффективная проверка человеком и слабое обнаружение вреда сильнее связаны с ущербом, чем технические сбои, если сгруппировать их вместе. Ресурсы на оценку предлагается распределять по потенциальному вреду и материальности сценария использования, а не по частоте сбоев.
  • Оценка агентных систем — тесты должны покрывать retrieval, сбои инструментов, проверку человеком, права доступа и восстановление. Сами ИИ-судьи тоже требуют проверки на надёжность и покрытие.
  • Цикл build, break, fix — сначала формулируется утверждение о системе, затем его пытаются опровергнуть и исправить, а рабочие зоны делятся на надёжные, неопределённые и высокого риска. Авторы предлагают на примере авиакомпании с чат-ботом, давшим неверный совет о скидке, проверять ответы по политике и добавлять эскалацию человеку, но это предложение, а не результат внедрения.

Кому полезно: тем, кто выводит агентные системы в продакшен в областях, где ошибка ИИ ведёт к юридическим или финансовым последствиям.

Статья по теме

Главы

Ещё доклады: Tanmay Sah

Страница спикера →

Похожие доклады