Построение цикла обучения промптов
Build a Prompt Learning Loop
Объяснения ошибок от людей и LLM-as-a-judge превращаются в правила системного промпта, и по словам авторов это поднимает качество агента без смены модели.
- Текст вместо одного скаляра — объяснение, почему ответ неверен, и нарушенное правило дают оптимизатору больше сигнала, чем числовая оценка. Оптимизатор получает эти тексты вместе с исходным промптом и предлагает новую версию.
- Правила для кодинг-агента — добавление в системный промпт правил обработки ошибок, соответствия дизайну системы и обязательных тестов дало, по словам авторов, +15% на SWE-bench Lite. При этом fine-tuning, инструменты и архитектуру не меняли.
- Оценки тоже нужно оптимизировать — оптимизация опирается на evals, поэтому авторы советуют разбирать примеры, где оценка работает с низкой уверенностью, и дорабатывать промпт для оценки так же, как промпт агента.
- Проверка на тестовой выборке — промпт подбирают на обучающей части данных и проверяют на тестовой. По словам авторов, на их бенчмарках prompt learning достигал результата за меньшее число циклов, чем GEPA и MIPRO.
Кому полезно: тем, кто правит системный промпт агента вручную и хочет измерять эффект правок. Часть про автоматический запуск оптимизации — презентация продукта Arize.
Статья по теме
Главы
Ещё доклады: Fuad Ali
Все 4 доклада →Ещё доклады: Sally-Ann DeLucia
Страница спикера →Похожие доклады
Оценить оценщика: как создавать действительно работающие LLM-оценщики с GEPA
AI Engineer Europe 2026
Близко по содержанию


