· AI Engineer World's Fair 2025
Как agents сломали инфраструктуру приложений
How agents broke app-level infrastructure
Агентные workflow, которые работают минутами и часами, требуют отделить API от compute-слоя и отдавать статус и результат через Redis Streams.
- Таймауты serverless — большинство serverless-платформ обрывают выполнение через пять минут, некоторые ограничивают исходящие HTTP-запросы, а нативного стриминга нет, поэтому его приходится добавлять на уровне приложения.
- Resumable через Redis Streams — после запуска API-слой только читает статус и результат из Redis Stream, поэтому пользователь может обновить страницу или уйти и получить всю историю сообщений. Sandbox шлёт heartbeat, и фоновые процессы перезапускают зависший workflow или уведомляют пользователя.
- Шаги как компоненты — идемпотентные компоненты в духе React дают retry и error boundary на каждом шаге и трейсы вложенных вызовов OpenAI, а retry и кэш настраиваются через fluent API. Доклад по сути знакомит с открытым фреймворком GenSX.
- Деплой длинных задач — при workflow на шестьдесят минут нужны аккуратный drain воркеров и blue-green деплой, иначе обновление может оборвать работу на полпути.
Кому полезно: тем, кто выводит многоминутные агентные процессы или фоновую обработку документов в продакшен на serverless-инфраструктуре.
Статья по теме
На какие вопросы отвечает доклад
Почему обычный serverless не подходит для LLM-задач, которые идут несколько минут?
Большинство serverless-платформ обрывают выполнение через пять минут, некоторые ограничивают исходящие HTTP-запросы, а стриминг приходится добавлять на уровне приложения вручную.
▶ 3:14Инструменты надежного выполнения и ограничения serverlessПочему LLM-приложения ненадёжнее обычных веб-сервисов?
Задержки LLM измеряются секундами, провайдеры падают на часы, а резервный провайдер может быть недоступен в тот же период. Пакетная обработка упирается в rate limits.
▶ 1:22Задержки LLM, сбои и неверные предположения об инфраструктуреКак сохранить прогресс агента, если пользователь обновил страницу или ушёл из приложения?
API-слой читает статус и результат только из Redis Streams, а не от compute-слоя. Поэтому при возврате пользователь видит всю историю статусов и итоговый результат, а работа не теряется.
▶ 10:14Разделение API и вычислительной архитектуры; ресурсы GenSXКак разделить API и compute-слой для долгих LLM-задач, чтобы масштабировать их отдельно?
API передаёт compute-слою только Redis Stream ID, дальше вся коммуникация идёт через стрим. Compute-слой stateless и шлёт heartbeat, чтобы упавший workflow можно было перезапустить.
▶ 10:14Разделение API и вычислительной архитектуры; ресурсы GenSXКак настроить повторные попытки для одного проблемного шага в цепочке LLM-вызовов?
Каждый компонент получает собственные retry и error boundary. Для проблемного шага через fluent API задаётся exponential retry policy с нужным числом повторов, а также кэш.
▶ 7:54Компоненты по образцу React и инструментированная интеграция OpenAIКак безопасно деплоить сервис, если агентные workflow работают до часа?
Нужно аккуратно дренировать воркеры и использовать blue-green деплой. Иначе долгие задачи оборвутся посреди выполнения.
▶ 10:14Разделение API и вычислительной архитектуры; ресурсы GenSX
Главы
Похожие доклады
Как справиться с хаосом агентов
AI Engineer World's Fair 2025
Близко по содержанию
Два подхода к долговечным агентам: replay и snapshots
AI Engineer World's Fair 2025
Близко по содержанию
Нулевые холодные старты: бессерверные AI agents на Akamai Functions
Близко по содержанию
Инфраструктура для сингулярности
AI Engineer World's Fair 2025
Близко по содержанию

