← Каталог

· AI Engineer World's Fair 2024

Создаём с Claude от Anthropic: приём у «доктора по промптам»

Building with Anthropic's Claude - The Prompt Doctor is In

Надёжный JSON от модели проще получить prefill-ом и stop sequences, чем инструкциями в промпте, по словам спикера.

  • Prefill и stop sequences вместо просьбы — ответ начинается с { в assistant-сообщении, а вывод обрывается на закрывающем теге через stop_sequences. По словам спикера, за текст после стоп-последовательности не платишь, а парсинг остаётся простым regex.
  • Примеры важнее формулировок — подбор документов и идеальных ответов, по словам спикера, даёт больше всего остального в промпте. Контрастные пары хорошего и плохого ответа работают хорошо, а объяснение до ответа действует как лёгкий chain of thought.
  • Инструкции после длинного документа — правила лучше ставить в конец, а информацию выше них. XML-теги, по словам спикера, работают лучше Markdown, потому что в обучении Claude их было больше.
  • Проверка формата кодом — форматы проверяются в коде без вызова модели, а model grading оставляем для расплывчатых ответов. Шкалу лучше сужать до пяти классов: по словам спикера, модель плохо калибрует оценку от 1 до 100.

Кому полезно: тем, кто парсит структурированные ответы модели или оценивает переводы и тексты через LLM.

Статья по теме

Главы

Похожие доклады