Модель не ошибается — просто вы плохо пишете промпты
The Model Isn’t Wrong—You’re Just Bad at Prompting
Для reasoning-моделей промпт лучше упрощать: чёткое описание задачи работает лучше примеров, а few-shot и лишний контекст часто ухудшают ответ.
- Few-shot мешает reasoning-моделям — по словам спикера, примеры в промпте снижали качество у o1 в Medprompt и у DeepSeek-R1. Если примеры всё же нужны, достаточно одного-двух, а разнообразие входов важнее их количества.
- Больше рассуждений дают лучший результат — в Medprompt и при обучении DeepSeek-R1 рост длины рассуждений шёл вместе с точностью. Поэтому, если модель не справляется, имеет смысл подтолкнуть её думать дольше.
- Инструкция «думай пошагово» обычно лишняя — chain-of-thought уже встроен в reasoning-модели, и явная инструкция, как рассуждать, по словам спикера, может навредить результату.
- Meta-prompting под провайдера — LLM переписывает и улучшает промпт, а мета-промпт стоит подбирать под конкретного провайдера: хороший промпт для OpenAI не всегда работает для Anthropic.
Кому полезно: тем, кто переносит на reasoning-модели промпты, написанные для обычных LLM с несколькими примерами в few-shot.
Статья по теме
На какие вопросы отвечает доклад
Когда стоит начинать с prompt engineering, а не с RAG или сложной архитектуры?
Сначала стоит пробовать простейшее решение: час работы с промптом быстро показывает, решается ли задача промптом. Простое решение также проще поддерживать, чем сложную архитектуру.
▶ 0:00Введение и актуальность prompt engineeringСколько few-shot примеров давать в промпт, чтобы не ухудшить результат?
Обычно хватает одного-двух примеров, которые покрывают разные типы входных данных. Большинство прироста дают первые примеры, а при их большом числе качество может падать.
▶ 2:06Цепочка рассуждений, few-shot prompting и сгенерированные цепочки рассужденийКак получить цепочки рассуждений для chain-of-thought без ручной разметки?
Можно использовать автоматический chain-of-thought или одиночный промпт AutoReason, который генерирует цепочки рассуждений по задаче. По словам спикера, DeepSeek R1 обучали на таких сгенерированных рассуждениях внутри think тегов.
▶ 2:06Цепочка рассуждений, few-shot prompting и сгенерированные цепочки рассужденийНужно ли писать отдельные промпты для OpenAI и Anthropic моделей?
Промпт, хороший для одного провайдера, не обязательно подойдёт другому. Спикер предлагает генерировать промпт через meta-prompting, который подстраивается под выбранного провайдера.
▶ 5:42Meta-prompting и итерационная оптимизация промптовПочему few-shot примеры ухудшают ответы reasoning моделей?
В исследовании Medprompt с o1 и в работе DeepSeek над R1 примеры снижали качество, а OpenAI предупреждал, что лишний контекст может запутать модель. Для reasoning моделей достаточно чёткого описания задачи.
▶ 6:58Промптинг reasoning-моделей: примеры, контекст и расширенное мышлениеКак повысить точность reasoning модели, если чистого промпта уже не хватает?
Можно поощрять модель рассуждать дольше: в Medprompt более длинное рассуждение давало лучшие результаты. У DeepSeek длина рассуждений росла в ходе обучения, и вместе с ней росла точность.
▶ 6:58Промптинг reasoning-моделей: примеры, контекст и расширенное мышление
Главы
Ещё доклады: Dan Cleary
Страница спикера →Приёмы prompt engineering
AI Engineer Summit 2023
Похожие доклады
Неожиданная эффективность обучения промптам
AI Engineer Code 2025
Близко по содержанию
Принципы prompt engineering для конкретных задач
AI Engineer Summit 2023
Близко по содержанию
Как работает Claude Code
AI Engineer Code 2025
Близко по содержанию

