Sofia Jakovcevic — AI Solutions Engineer в Arize AI. Она пишет руководства и разрабатывает программное обеспечение для оценки guardrails, то есть проверок входных и выходных данных модели. Автор двухчастного гайда по атакам jailbreak и автор репозитория jailbreak_guardrails, который объединяет пять валидаторов из Guardrails Hub и записывает результат каждой проверки через OpenTelemetry. Ранее работала в OpenAI и Rockset, где вела материалы о разделении вычислительных ресурсов и о поиске по тексту и семантике. Её доклад посвящён регрессионному тестированию агентов на основе production-трейсов.

Темы докладов: Evals и бенчмарки и Observability и трейсы.

Другое1