· AI Engineer World's Fair 2026
Ваш агент дал сбой в продакшене. Удачи с воспроизведением
Your Agent Failed in Prod. Good Luck Reproducing It.
Разбирать сбои агентов в продакшене можно, записывая входы и выходы на границах шагов и воспроизводя прогон офлайн без вызовов модели.
- Нулевая temperature не даёт детерминизма — по словам спикеров, недетерминизм идёт от батчинга запросов на GPU и от capacity-лимитов в MoE, поэтому фиксировать текст ответа бессмысленно. Цель — воспроизводимость прогона, а не побитовая повторяемость.
- Запись на границах шагов — каждый вызов инструмента, LLM или retrieval помечается аннотацией, которая сохраняет вход, выход и метаданные, например версию модели и версию кода. Записывать лучше на уровне смысловых шагов, а не сетевых пакетов, потому что локальные инструменты и память в сети не видны.
- Тест без вызовов модели — из записанного прогона LLM-узлы заменяются сохранёнными ответами, а живым запускается только изменённый инструмент. В демо ошибочный ордер на продажу 1000 акций вместо продажи на тысячу долларов был заблокирован, и проверка на выходе инструмента прошла.
- Два вида тестов — детерминированные узлы, например guardrails и вызовы инструментов, проверяются по записям, а тон и траекторию агента лучше оценивать через LLM-as-a-judge.
Кому полезно: тем, кто отлаживает агентов, которые выполняют записи в боевые API, где повторный запуск не воспроизводит ошибку.
Статья по теме
Главы
Ещё доклады: Susheem Koul
Страница спикера →FinOps для AI-агентов: кто потратил все токены?
AI Engineer World's Fair 2026
Похожие доклады
Всё, что нужно знать о наблюдаемости AI-агентов
Ben Hylak, Danny Gollapalli, Zubin Koticha
AI Engineer Europe 2026
Близко по содержанию
Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Близко по содержанию
Исправление агента сломало что-то ещё
Близко по содержанию
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Близко по содержанию


