· AI Engineer World's Fair 2025
Prompt engineering мёртв
Prompt Engineering is Dead
Ручной подбор промптов можно заменить автоматической оптимизацией: агент переписывает промпт RAG-бота по оценкам LLM-судьи.
- Оценка по фактам, а не по всему ответу — для каждого из 20 вопросов заданы три факта, которые должен содержать ответ; судья отмечает каждый факт как выполненный или нет и пишет причину, а балл равен доле выполненных фактов.
- Судья с эталонными ответами — по словам автора, LLM-судья с эталоном проще построить и развернуть, чем судью, который оценивает ответ только по вопросу и контексту.
- Агент на основе причин провалов — агент получает балл, причины невыполненных фактов и руководства по prompt engineering, переписывает промпт и снова запускает оценку. По словам автора, после двух итераций балл вырос с 0,4 до 0,9.
- Риск переобучения на выборке — оптимизатор может подогнать промпт под 20 вопросов, поэтому автор советует делить данные на обучающую и тестовую выборки. Сам автор признаёт, что для агента-оптимизатора пришлось много писать промптов вручную.
Кому полезно: тем, кто улучшает промпты RAG-пайплайна и хочет опираться на замеры, а не на ручной подбор.
Статья по теме
Главы
Ещё доклады: Nir Gazit
Страница спикера →OpenLLMetry — всё, что вам нужно
AI Engineer Summit 2025
Похожие доклады
Почему сложно создавать платформы для evals
AI Engineer Europe 2026
Близко по содержанию
Как работает Claude Code
AI Engineer Code 2025
Близко по содержанию
Будущее evals
AI Engineer World's Fair 2025
Близко по содержанию
Построение цикла обучения промптов
AI Engineer Code 2025
Близко по содержанию

