· AI Engineer World's Fair 2026
Simulation-Maxxing: Как Nubank выводит agents в продакшен в 20 раз быстрее с помощью симуляций
Simulation-Maxxing: How Nubank ships agents 20× faster with simulations
Генерация данных для evals в симуляциях с синтетическими пользователями вместо ожидания продакшен-трафика, по словам авторов, ускоряет выпуск агентов поддержки Nubank в 20 раз.
- Симуляции вместо ожидания продакшена — Snowglobe SDK подключается к агенту без правок кода, генерирует персон с согласованными данными и мок-инструментами, а LLM-судьи оценивают каждый ход диалога. По словам авторов, проверка, которая на вручную собранных наборах занимает дни, на симуляциях идёт за часы; доклад во многом про продукт Snowglobe.
- Симуляции должны совпадать с продом — корреляция оценок на симулированных и реальных данных, по словам авторов, высокая, а 80% меток доменных экспертов подтвердили, что данные из симуляций пригодны.
- Регрессии ловятся до A/B-теста — симуляция поймала регрессию, которая иначе ушла бы в продакшен. По словам авторов, TNPS одного агента вырос вдвое, а при этом self-service rate не просел.
Кому полезно: тем, кто выводит агентов поддержки в продакшен и тратит недели на ручную подготовку eval-данных.
Статья по теме
Главы
Ещё доклады: Shreya Rajpal
Страница спикера →Доверяй, но проверяй
AI Engineer Summit 2023
Похожие доклады
Создавайте evals, которые действительно важны
AI Engineer World's Fair 2026
Близко по содержанию
От трассировок agents к симуляциям agents
AI Engineer World's Fair 2026
Близко по содержанию
Как по-настоящему оптимизировать расход токенов и сэкономить миллионы
AI Engineer NYC 2026 Online Talks
Близко по содержанию
Vending-Bench: долгосрочные evals для агентов
AI Engineer World's Fair 2026
Близко по содержанию


