· AI Engineer World's Fair 2025
Как создавать ИИ-системы, которые выдержат «Горький урок»
On Engineering AI Systems that Endure The Bitter Lesson
Агентные системы переживут смену моделей, если задачу описывать через signatures и evals, а не через промпты, и отделить её от моделей и стратегий вывода.
- Промпт как абстракция — по мнению спикера, промпт плохо подходит для программирования: он смешивает определение задачи с подгонками под конкретную модель. Формат вывода и инструкции по структуре лучше вынести из текста промпта в отдельные компоненты.
- Signatures в DSPy — задача описывается отдельной сущностью signature, а модели подключаются через адаптеры. По словам автора, понять это понятие достаточно, чтобы начать работать с DSPy.
- Evals и код вместе — evals фиксируют, чего вы хотите от системы, и остаются верными при смене модели. Но задавать базовое поведение через evals нельзя: инструменты, композицию функций и потоки приватных данных лучше писать кодом, потому что LLM плохо композируются.
- Оптимизаторы для всей системы — reinforcement learning и prompt optimization применяются ко всей системе целиком, а не к отдельному промпту. По словам спикера, это работает для любого приложения, построенного на DSPy.
Кому полезно: инженерам, которые строят агентные системы на LLM и переписывают промпты при каждой смене модели.
Статья по теме
Главы
Похожие доклады
Непрерывное обучение AI agents: от ошибок к устойчивым улучшениям
AI Engineer World's Fair 2026
Близко по содержанию
Бенчмарки: хорошие, плохие и ужасные
AI Engineer World's Fair 2026
Близко по содержанию
Почему опытным инженерам сложно создавать AI-агентов
AI Engineer Europe 2026
Близко по содержанию
Создавайте AI-системы для осознанной оценки, а не одобрения
AI Engineer World's Fair 2026
Близко по содержанию

