← Каталог

· AI Engineer World's Fair 2025

Prompt engineering мёртв

Prompt Engineering is Dead

Ручной подбор промптов можно заменить автоматической оптимизацией: агент переписывает промпт RAG-бота по оценкам LLM-судьи.

  • Оценка по фактам, а не по всему ответу — для каждого из 20 вопросов заданы три факта, которые должен содержать ответ; судья отмечает каждый факт как выполненный или нет и пишет причину, а балл равен доле выполненных фактов.
  • Судья с эталонными ответами — по словам автора, LLM-судья с эталоном проще построить и развернуть, чем судью, который оценивает ответ только по вопросу и контексту.
  • Агент на основе причин провалов — агент получает балл, причины невыполненных фактов и руководства по prompt engineering, переписывает промпт и снова запускает оценку. По словам автора, после двух итераций балл вырос с 0,4 до 0,9.
  • Риск переобучения на выборке — оптимизатор может подогнать промпт под 20 вопросов, поэтому автор советует делить данные на обучающую и тестовую выборки. Сам автор признаёт, что для агента-оптимизатора пришлось много писать промптов вручную.

Кому полезно: тем, кто улучшает промпты RAG-пайплайна и хочет опираться на замеры, а не на ручной подбор.

Статья по теме

Главы

Ещё доклады: Nir Gazit

Страница спикера →

Похожие доклады