Playground в продакшене: оптимизация agents в production-среде
Playground in Prod - Optimising Agents in Production Environments
Оптимизировать промпт агента можно по golden dataset, проверяя ответы детерминированными evals, и выкатывать новую версию без редеплоя через managed variables.
- Детерминированные evals вместо LLM-as-a-judge — на задаче поиска политических родственников точность по golden dataset из 650 депутатов выросла с 87% у простого промпта до 92% у промпта, написанного вручную. По словам спикера, собственная проверка по эталону надёжнее, чем оценка моделью.
- GEPA поверх evals — оптимизатор берёт удачные кандидаты с Парето-фронта и предлагает новые промпты. По словам спикера, на быстрой модели точность дошла до 96,7%.
- Раздутый промпт как цена оптимизации — итоговый промпт стал многословным и замедлял агента. Спикер предлагает собирать промпт из набора предложений и выбирать подмножество, а не генерировать текст целиком.
- Managed variables для конфигурации агента — промпт, модель и температура описываются Pydantic-моделью, меняются в Logfire без редеплоя и раздаются долями трафика, как при A/B-тесте.
Кому полезно: тем, у кого уже есть размеченные данные и evals и кто хочет менять промпты продакшен-агента без деплоя.
Статья по теме
На какие вопросы отвечает доклад
Как улучшить промпт агента по эталонным ответам, не переписывая его вручную?
GEPA предлагает новые варианты промпта и отбирает кандидатов с Парето-фронта по результатам оценки на эталонном датасете. В примере с политиками точность промпта, написанного вручную, выросла с 87% до 92%, а после GEPA, по словам спикера, достигла 96,7%.
▶ 11:58Настройка шлюза Logfire, evals и запуск GEPAКак поменять промпт и модель агента в продакшене без перевыкатки?
Настройки описываются Pydantic-моделью как managed variables в Logfire, меняются в интерфейсе и раздаются заданной доле трафика. Агент подхватывает новое значение при следующем вызове, без деплоя.
▶ 57:01Управляемые переменные, конфигурация агента в реальном времени и зарегистрированные инструментыПочему оптимизированный промпт разрастается и замедляет агента?
Оптимизатор переписывает системный промпт целиком, и он получается многословным. Спикер предлагает разбить промпт на набор предложений и выбирать подмножество, например 20 из 200, чтобы ограничить длину.
▶ 41:22Вопросы аудитории, эффективность оптимизатора и компромисс между объёмом входного текста и качествомКак не переобучить промпт под примеры из эталона?
Спикер советует делить данные на обучающую и проверочную выборки и иметь примерно вдвое больше данных, покрывающих все случаи. Иначе оптимизатор может исключить редкие категории, например родственников по линии дяди и тёти.
▶ 41:22Вопросы аудитории, эффективность оптимизатора и компромисс между объёмом входного текста и качествомСтоит ли оптимизировать промпт под модель, если через месяц выйдет новая?
Спикер считает, что при смене модели оптимизацию придётся повторять, поэтому для большинства команд проще улучшить промпт вручную. Для больших объёмов однотипных задач меньшая модель с оптимизированным промптом может оказаться выгоднее.
▶ 41:22Вопросы аудитории, эффективность оптимизатора и компромисс между объёмом входного текста и качеством
Главы
Ещё доклады: Samuel Colvin
Страница спикера →MCP — всё, что нужно
AI Engineer World's Fair 2025
Evals, подготовленные людьми
AI Engineer World's Fair 2025
От кошмаров stateless-систем к устойчивым agents
AI Engineer Code 2025
Похожие доклады
Исправление агента сломало что-то ещё
Близко по содержанию
DSPy: конец prompt engineering
AI Engineer Code 2025
Близко по содержанию
Практическое руководство по запуску ИИ-агентов в корпоративном масштабе
AI Engineer Europe 2026
Близко по содержанию

