Vishal Srivastava работает в New York Life над оценкой AI-систем, управлением моделями и управлением рисками и входит в редакционный совет журнала Risk Analysis, издаваемого Society for Risk Analysis. Его исследования посвящены тому, как ошибки моделей превращаются во вредные действия и какие доказательства нужны для решения о внедрении или финансировании AI. Среди его работ препринт The Verifier Tax о проверке агентов, которые используют инструменты, рамка оценки риска автоматизации, написанная с Tanmay Sah, и книга Evaluable AI, которую готовят к выходу в Palgrave Macmillan. В докладах он рассказывает, как анализ реальных AI-инцидентов помогает оценивать развернутые системы.

Темы докладов: Evals и бенчмарки.

Другое1