Неожиданная эффективность обучения промптам
The Unreasonable Effectiveness of Prompt Learning
Coding агентов можно улучшать, обновляя их постоянные инструкции по объяснениям ошибок, а не дообучая модель: по словам спикера, на 150 примерах SWE-bench это дало прирост решённых задач.
- Prompt learning вместо RL — вместо одной скалярной оценки агент получает текстовое объяснение, почему решение не сработало. По сравнению авторов с GEPA, последний потребовал заметно больше итераций для того же эффекта.
- Цикл обучения — агент пишет патч, юнит-тесты его проверяют, LLM-as-a-judge объясняет провал, а мета-промпт превращает объяснения в правила для CLAUDE.md или Cline.
- Результат — по словам спикера, Claude Code решил на 5% больше задач, а Cline на 15% больше, при стартовых примерно 40% и 30%.
- Качество eval — спикер называет главным фактором проработанные промпты для judge: от них зависит, насколько полезные объяснения получит агент.
Кому полезно: тем, кто настраивает coding агентов через CLAUDE.md или Cline rules и хочет улучшать их без большого датасета для fine-tuning.
Статья по теме
Главы
Ещё доклады: Aparna Dhinakaran
Все 5 докладов →Чем теперь занимается AI-инженер?
Будущее evals: от LLM-as-a-judge к агенту-судье
AI Engineer World's Fair 2026
LLM evals, которые работают в реальных условиях
AI Engineer World's Fair 2024
Похожие доклады
Хватит промптить
AI Engineer World's Fair 2026
Близко по содержанию
Обучение с подкреплением без проверяемых наград
AI Engineer World's Fair 2026
Близко по содержанию
Ломай, пока не заработает: создаём самоулучшающийся стек для AI-агентов
AI Engineer World's Fair 2025
Тот же спикер: Aparna Dhinakaran
Принципы prompt engineering для конкретных задач
AI Engineer Summit 2023
Близко по содержанию

