← Каталог

· AI Engineer World's Fair 2026

Simulation-Maxxing: Как Nubank выводит agents в продакшен в 20 раз быстрее с помощью симуляций

Simulation-Maxxing: How Nubank ships agents 20× faster with simulations

Генерация данных для evals в симуляциях с синтетическими пользователями вместо ожидания продакшен-трафика, по словам авторов, ускоряет выпуск агентов поддержки Nubank в 20 раз.

  • Симуляции вместо ожидания продакшена — Snowglobe SDK подключается к агенту без правок кода, генерирует персон с согласованными данными и мок-инструментами, а LLM-судьи оценивают каждый ход диалога. По словам авторов, проверка, которая на вручную собранных наборах занимает дни, на симуляциях идёт за часы; доклад во многом про продукт Snowglobe.
  • Симуляции должны совпадать с продом — корреляция оценок на симулированных и реальных данных, по словам авторов, высокая, а 80% меток доменных экспертов подтвердили, что данные из симуляций пригодны.
  • Регрессии ловятся до A/B-теста — симуляция поймала регрессию, которая иначе ушла бы в продакшен. По словам авторов, TNPS одного агента вырос вдвое, а при этом self-service rate не просел.

Кому полезно: тем, кто выводит агентов поддержки в продакшен и тратит недели на ручную подготовку eval-данных.

Статья по теме

Главы

Ещё доклады: Shreya Rajpal

Страница спикера →

Похожие доклады