Naman Jain — AI-исследователь в Cursor. Он изучает, как измерять, могут ли coding агенты решать крупные задачи по разработке ПО без обхода оценки. Он участвовал в создании LiveCodeBench, бенчмарка с регулярно обновляемыми задачами, а также R2E-Gym, DeepSWE, GSO и CursorBench. Ранее работал в Microsoft Research India, затем вёл докторские исследования в University of California, Berkeley. В докладе на AI Engineer Code 2025 он рассказывает о переходе оценки кодинговых моделей от отдельных фрагментов кода к работе над целыми репозиториями.
Темы докладов: Evals и бенчмарки.
AI Engineer Code 20251
Coding evals: от фрагментов кода до целых кодовых баз
AI Engineer Code 2025