Практическое руководство по запуску ИИ-агентов в корпоративном масштабе
The Production AI Playbook: Deploying Agents at Enterprise Scale
Агент выходит в продакшен, когда заданы измеримые бизнес-метрики и растёт evaluation-датасет, а выбор модели откладывается до появления этой инфраструктуры.
- Модель выбирают последней — в кейсе банковского чатбота сначала собрали 200 реальных ответов живых операторов и задали цели: 60% простых запросов закрываются агентом, точность около 85%. Модель выбрали только на седьмой неделе восьминедельного POC.
- Три слоя evals — детерминированные проверки форматов и PII, LLM-as-judge для обоснованности ответа и поведенческие проверки tool calls. Последние нужны, потому что агент может правильно ответить, но трижды обратиться к базе за одним и тем же балансом.
- Tracing для аудита — по словам спикера, в регулируемых отраслях, в том числе в Европе, без tracing каждого решения агента в продакшен не выводят. По трейсам нашли дублирующие API-вызовы, а после падения CSAT нашли устаревший документ в векторной базе, куда не загрузились новые embeddings.
- Версии промптов и CI — промпт меняют как код, с описанием причины изменения. В CI прогоняют часть eval-датасета, полный прогон делают при слиянии в main, чтобы не тратить лишние деньги.
Кому полезно: тем, кто выводит агентов в регулируемых отраслях, например в банках, и хочет понять, какие метрики и трейсы нужны до запуска.
Статья по теме
Главы
Ещё доклады: Sandipan Bhaumik
Страница спикера →От хаоса к хореографии: рабочие паттерны оркестрации нескольких агентов
AI Engineer Europe 2026
Похожие доклады
Как выпускать работающий AI: фреймворк оценки для продакт-менеджеров
AI Engineer World's Fair 2025
Близко по содержанию
Внедрение AI в пяти крупных банках без 12-месячного ожидания согласований
Близко по содержанию
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию

