← Каталог

· AI Engineer World's Fair 2026

Ваш агент дал сбой в продакшене. Удачи с воспроизведением

Your Agent Failed in Prod. Good Luck Reproducing It.

Разбирать сбои агентов в продакшене можно, записывая входы и выходы на границах шагов и воспроизводя прогон офлайн без вызовов модели.

  • Нулевая temperature не даёт детерминизма — по словам спикеров, недетерминизм идёт от батчинга запросов на GPU и от capacity-лимитов в MoE, поэтому фиксировать текст ответа бессмысленно. Цель — воспроизводимость прогона, а не побитовая повторяемость.
  • Запись на границах шагов — каждый вызов инструмента, LLM или retrieval помечается аннотацией, которая сохраняет вход, выход и метаданные, например версию модели и версию кода. Записывать лучше на уровне смысловых шагов, а не сетевых пакетов, потому что локальные инструменты и память в сети не видны.
  • Тест без вызовов модели — из записанного прогона LLM-узлы заменяются сохранёнными ответами, а живым запускается только изменённый инструмент. В демо ошибочный ордер на продажу 1000 акций вместо продажи на тысячу долларов был заблокирован, и проверка на выходе инструмента прошла.
  • Два вида тестов — детерминированные узлы, например guardrails и вызовы инструментов, проверяются по записям, а тон и траекторию агента лучше оценивать через LLM-as-a-judge.

Кому полезно: тем, кто отлаживает агентов, которые выполняют записи в боевые API, где повторный запуск не воспроизводит ошибку.

Статья по теме

Главы

Ещё доклады: Susheem Koul

Страница спикера →

Похожие доклады