Shreya Shankar — компьютерный учёный, visiting assistant professor в Carnegie Mellon University. Докторантуру она завершила в UC Berkeley. Она создала open source систему DocETL для анализа неструктурированных документов с помощью языковых моделей. Её исследования посвящены evals LLM-приложений: SPADE превращает историю правок промптов в автоматические проверки, EvalGen сочетает автоматически сгенерированные оценщики с человеческой обратной связью. Вместе с Hamel Husain она преподаёт курс AI Evals for Engineers and PMs и пишет книгу о evaluation для AI инженеров для O'Reilly. Доклад на AI Engineer World's Fair 2024 посвящён году разработки приложений на LLM: оценкам в продакшене, мониторингу и guardrails.
Темы докладов: Evals и бенчмарки, Внедрение AI и оргизменения и Observability и трейсы.
AI Engineer World's Fair 20241
Чему мы научились за год разработки с LLM
Charles Frye, Eugene Yan, Jason Liu, Hamel Husain, Dr Bryan Bischof, Shreya Shankar
AI Engineer World's Fair 2024