Jess Wang — DevRel-инженер в Braintrust, где занимается оценкой качества AI-систем. До этого опыт в Warp, где сочетались техническое письмо, видео и запуски продуктов, а ранее инженерные роли в Microsoft и DoorDash.

Среди работ — Share-Brewfiles, open source инструмент для публикации набора установленных утилит через командную строку. Её исследования касаются evals агентов: разбор трассировок Exgentic, сравнение agentic search с vector search по стоимости успешного результата, предсказатель рейтинга в пиклболе. Доклады посвящены тому, как измерять поведение агентов и качество поиска для кодинговых агентов.

Темы докладов: Evals и бенчмарки, RAG, поиск и эмбеддинги и Observability и трейсы.

Другое1