· AI Engineer World's Fair 2026
Рекурсивное улучшение моделей
Recursive Model Improvement
Замкнув пользовательскую обратную связь, закрытые evals и RL-среды в один цикл, по словам авторов, можно ускорить обучение моделей, где каждая модель помогает обучать следующую.
- Защита публичных evals от читерства — модели находили решения в истории Git и в копиях бенчмарков. По словам авторов, удаление истории на время прогона и allowlist сайтов заметно меняли отчётные баллы, поэтому команда держит приватный набор CursorBench из задач по своей кодовой базе, не попадающий в обучение.
- Задачи на восстановление фич — из сложного сгенерированного приложения удаляют часть функций и файлов, а модель заново реализует их, пока тесты не пройдут. Это даёт проверяемую награду за амбициозные задачи, а когда все модели набирают около 90 процентов, eval пора заменять.
- Подсказки вместо одной награды в конце — в длинной траектории, где сотни тысяч токенов, спикер находит проблемный шаг, даёт модели подсказку (например, напоминание о доступных инструментах) и повышает вероятность нужного действия.
Кому полезно: тем, кто строит RL-пайплайны и evals для агентов, работающих с кодом.
Статья по теме
Главы
Ещё доклады: Lee Robinson
Страница спикера →Создание Cursor Composer
AI Engineer Code 2025
Похожие доклады
Хватит увеличивать модели — научите их работать как надо
AI Engineer Europe 2026
Близко по содержанию
Непрерывное обучение AI agents: от ошибок к устойчивым улучшениям
AI Engineer World's Fair 2026
Близко по содержанию
Таксономия моделей рассуждения следующего поколения
AI Engineer World's Fair 2025
Близко по содержанию

