← Каталог

· AI Engineer Europe 2026

Практическое руководство по запуску ИИ-агентов в корпоративном масштабе

The Production AI Playbook: Deploying Agents at Enterprise Scale

Агент выходит в продакшен, когда заданы измеримые бизнес-метрики и растёт evaluation-датасет, а выбор модели откладывается до появления этой инфраструктуры.

  • Модель выбирают последней — в кейсе банковского чатбота сначала собрали 200 реальных ответов живых операторов и задали цели: 60% простых запросов закрываются агентом, точность около 85%. Модель выбрали только на седьмой неделе восьминедельного POC.
  • Три слоя evals — детерминированные проверки форматов и PII, LLM-as-judge для обоснованности ответа и поведенческие проверки tool calls. Последние нужны, потому что агент может правильно ответить, но трижды обратиться к базе за одним и тем же балансом.
  • Tracing для аудита — по словам спикера, в регулируемых отраслях, в том числе в Европе, без tracing каждого решения агента в продакшен не выводят. По трейсам нашли дублирующие API-вызовы, а после падения CSAT нашли устаревший документ в векторной базе, куда не загрузились новые embeddings.
  • Версии промптов и CI — промпт меняют как код, с описанием причины изменения. В CI прогоняют часть eval-датасета, полный прогон делают при слиянии в main, чтобы не тратить лишние деньги.

Кому полезно: тем, кто выводит агентов в регулируемых отраслях, например в банках, и хочет понять, какие метрики и трейсы нужны до запуска.

Статья по теме

Главы

Ещё доклады: Sandipan Bhaumik

Страница спикера →

Похожие доклады