← Каталог

· AI Engineer Summit 2023

Принципы prompt engineering для конкретных задач

Writing Principles for Task-Tuned Prompt Engineering

Для Claude структура промпта, по словам спикера, важнее тонких формулировок: XML-теги, инструкция в конце длинного документа и декомпозиция вопроса дают ощутимый прирост.

  • XML-теги для входных данных — Claude заметно лучше работает, когда инструкции и данные разделены тегами, которые используются одинаково во всём промпте; по словам спикера, с XML точность в его задаче извлечения приближалась к 100%. Служебные Human: и Assistant: нельзя писать внутри самого контекста.
  • Вопрос в конце длинного контекста — в тесте на документах 70 и 95 тысяч токенов вопрос после текста давал заметно лучший результат, чем вопрос в начале. Просьба вынести релевантные цитаты в теги перед ответом добавляла немного латентности и повышала точность.
  • Декомпозиция вместо пошаговых рассуждений — модель разбивает вопрос на самодостаточные подвопросы, их ответы подаются в контекст перед итоговым ответом. По данным статьи, качество на вопросах с ответом близко к пошаговым рассуждениям, а рассуждение точнее отражает то, на чём модель строит ответ.
  • Синтетические eval-наборы из документа — модель генерирует по разделам документа вопросы с одним верным и тремя неверными вариантами, а затем эти разделы собираются в длинные документы для проверки recall.

Кому полезно: тем, кто пишет промпты для Claude API, размечает или классифицирует тексты и проверяет работу модели с длинными документами.

Статья по теме

Главы

Ещё доклады: Karina Nguyen

Страница спикера →

Похожие доклады