← Каталог

· AI Engineer World's Fair 2025

Как создавать ИИ-системы, которые выдержат «Горький урок»

On Engineering AI Systems that Endure The Bitter Lesson

Агентные системы переживут смену моделей, если задачу описывать через signatures и evals, а не через промпты, и отделить её от моделей и стратегий вывода.

  • Промпт как абстракция — по мнению спикера, промпт плохо подходит для программирования: он смешивает определение задачи с подгонками под конкретную модель. Формат вывода и инструкции по структуре лучше вынести из текста промпта в отдельные компоненты.
  • Signatures в DSPy — задача описывается отдельной сущностью signature, а модели подключаются через адаптеры. По словам автора, понять это понятие достаточно, чтобы начать работать с DSPy.
  • Evals и код вместе — evals фиксируют, чего вы хотите от системы, и остаются верными при смене модели. Но задавать базовое поведение через evals нельзя: инструменты, композицию функций и потоки приватных данных лучше писать кодом, потому что LLM плохо композируются.
  • Оптимизаторы для всей системы — reinforcement learning и prompt optimization применяются ко всей системе целиком, а не к отдельному промпту. По словам спикера, это работает для любого приложения, построенного на DSPy.

Кому полезно: инженерам, которые строят агентные системы на LLM и переписывают промпты при каждой смене модели.

Статья по теме

Главы

Похожие доклады