← Каталог

· AI Engineer Summit 2025

Модель не ошибается — просто вы плохо пишете промпты

The Model Isn’t Wrong—You’re Just Bad at Prompting

Для reasoning-моделей промпт лучше упрощать: чёткое описание задачи работает лучше примеров, а few-shot и лишний контекст часто ухудшают ответ.

  • Few-shot мешает reasoning-моделям — по словам спикера, примеры в промпте снижали качество у o1 в Medprompt и у DeepSeek-R1. Если примеры всё же нужны, достаточно одного-двух, а разнообразие входов важнее их количества.
  • Больше рассуждений дают лучший результат — в Medprompt и при обучении DeepSeek-R1 рост длины рассуждений шёл вместе с точностью. Поэтому, если модель не справляется, имеет смысл подтолкнуть её думать дольше.
  • Инструкция «думай пошагово» обычно лишняя — chain-of-thought уже встроен в reasoning-модели, и явная инструкция, как рассуждать, по словам спикера, может навредить результату.
  • Meta-prompting под провайдера — LLM переписывает и улучшает промпт, а мета-промпт стоит подбирать под конкретного провайдера: хороший промпт для OpenAI не всегда работает для Anthropic.

Кому полезно: тем, кто переносит на reasoning-модели промпты, написанные для обычных LLM с несколькими примерами в few-shot.

Статья по теме

На какие вопросы отвечает доклад

Главы

Ещё доклады: Dan Cleary

Страница спикера →

Похожие доклады