← Каталог

· AI Engineer Code 2025

Неожиданная эффективность обучения промптам

The Unreasonable Effectiveness of Prompt Learning

Coding агентов можно улучшать, обновляя их постоянные инструкции по объяснениям ошибок, а не дообучая модель: по словам спикера, на 150 примерах SWE-bench это дало прирост решённых задач.

  • Prompt learning вместо RL — вместо одной скалярной оценки агент получает текстовое объяснение, почему решение не сработало. По сравнению авторов с GEPA, последний потребовал заметно больше итераций для того же эффекта.
  • Цикл обучения — агент пишет патч, юнит-тесты его проверяют, LLM-as-a-judge объясняет провал, а мета-промпт превращает объяснения в правила для CLAUDE.md или Cline.
  • Результат — по словам спикера, Claude Code решил на 5% больше задач, а Cline на 15% больше, при стартовых примерно 40% и 30%.
  • Качество eval — спикер называет главным фактором проработанные промпты для judge: от них зависит, насколько полезные объяснения получит агент.

Кому полезно: тем, кто настраивает coding агентов через CLAUDE.md или Cline rules и хочет улучшать их без большого датасета для fine-tuning.

Статья по теме

Главы

Ещё доклады: Aparna Dhinakaran

Все 5 докладов →

Похожие доклады