← Каталог

· AI Engineer Code 2025

Построение цикла обучения промптов

Build a Prompt Learning Loop

Объяснения ошибок от людей и LLM-as-a-judge превращаются в правила системного промпта, и по словам авторов это поднимает качество агента без смены модели.

  • Текст вместо одного скаляра — объяснение, почему ответ неверен, и нарушенное правило дают оптимизатору больше сигнала, чем числовая оценка. Оптимизатор получает эти тексты вместе с исходным промптом и предлагает новую версию.
  • Правила для кодинг-агента — добавление в системный промпт правил обработки ошибок, соответствия дизайну системы и обязательных тестов дало, по словам авторов, +15% на SWE-bench Lite. При этом fine-tuning, инструменты и архитектуру не меняли.
  • Оценки тоже нужно оптимизировать — оптимизация опирается на evals, поэтому авторы советуют разбирать примеры, где оценка работает с низкой уверенностью, и дорабатывать промпт для оценки так же, как промпт агента.
  • Проверка на тестовой выборке — промпт подбирают на обучающей части данных и проверяют на тестовой. По словам авторов, на их бенчмарках prompt learning достигал результата за меньшее число циклов, чем GEPA и MIPRO.

Кому полезно: тем, кто правит системный промпт агента вручную и хочет измерять эффект правок. Часть про автоматический запуск оптимизации — презентация продукта Arize.

Статья по теме

Главы

Ещё доклады: Fuad Ali

Все 4 доклада →

Ещё доклады: Sally-Ann DeLucia

Страница спикера →

Похожие доклады