← Каталог

· AI Engineer Europe 2026

Playground в продакшене: оптимизация agents в production-среде

Playground in Prod - Optimising Agents in Production Environments

Оптимизировать промпт агента можно по golden dataset, проверяя ответы детерминированными evals, и выкатывать новую версию без редеплоя через managed variables.

  • Детерминированные evals вместо LLM-as-a-judge — на задаче поиска политических родственников точность по golden dataset из 650 депутатов выросла с 87% у простого промпта до 92% у промпта, написанного вручную. По словам спикера, собственная проверка по эталону надёжнее, чем оценка моделью.
  • GEPA поверх evals — оптимизатор берёт удачные кандидаты с Парето-фронта и предлагает новые промпты. По словам спикера, на быстрой модели точность дошла до 96,7%.
  • Раздутый промпт как цена оптимизации — итоговый промпт стал многословным и замедлял агента. Спикер предлагает собирать промпт из набора предложений и выбирать подмножество, а не генерировать текст целиком.
  • Managed variables для конфигурации агента — промпт, модель и температура описываются Pydantic-моделью, меняются в Logfire без редеплоя и раздаются долями трафика, как при A/B-тесте.

Кому полезно: тем, у кого уже есть размеченные данные и evals и кто хочет менять промпты продакшен-агента без деплоя.

Статья по теме

На какие вопросы отвечает доклад

Главы

Ещё доклады: Samuel Colvin

Страница спикера →

Похожие доклады