James Shi — founding engineer компании Datacurve, которая строит инфраструктуру, экспертные обучающие данные и evals для coding моделей. Его главный проект — открытый бенчмарк DeepSWE, который измеряет, как coding агенты решают незнакомые задачи разработки ПО без опоры на утёкшие ответы и хрупкие проверки. Shi учился на информатике и бизнесе в University of British Columbia, затем бросил учёбу ради UncleGPT, раннего продукта для product managers, из которого выросла Datacurve. В докладе он разбирает, проверяют ли агенты собственные патчи и как отделить возможности модели от обвязки из промптов и инструментов.

Темы докладов: Evals и бенчмарки и Код-ревью, тесты и верификация.

AI Engineer World's Fair 20261