· AI Engineer World's Fair 2026
Детерминированная инфраструктура для недетерминированных AI agents
Building Deterministic Infrastructure for Non-Deterministic AI Agents
Агентов в продакшене стоит строить как распределённые системы: модель только предлагает действия, а детерминированная инфраструктура их проверяет, ограничивает и исполняет.
- Модель предлагает, платформа решает — модель генерирует предложения, инфраструктура их валидирует, policy engine одобряет, а execution gateway исполняет. По словам спикера, так система остаётся надёжной даже при вероятностной модели.
- Повторы после ошибок съедают GPU — если агент на каждую ошибку инструмента генерирует почти такой же неверный запрос, потребление вычислений растёт экспоненциально. Спикер предлагает ставить на агентов защиты из классического бэкенда: circuit breakers на инструменты, rate limits и квоты на стоимость.
- Сбои общей памяти — это ошибки консистентности — stale reads и конфликтующие обновления между агентами часто выглядят как ошибки рассуждения, хотя причина в распределённом состоянии.
- Слоистая безопасность и люди на исключениях — промпт-контроли, права на инструменты, policy-проверки, human approvals и audit ловят разные классы сбоев. Спикер считает, что люди останутся в системе как обработчики исключений, а трассировка планирования и вызовов инструментов нужна для отладки.
Кому полезно: тем, кто выводит агентов с многошаговыми вызовами инструментов в продакшен и сталкивается с зацикливаниями или ростом расходов на GPU.
Статья по теме
На какие вопросы отвечает доклад
Почему ошибка вызова инструмента у агента приводит к росту расхода GPU?
Агент после ошибки инструмента генерирует почти такой же невалидный запрос, и цикл повторяется. Каждый ретрай увеличивает глубину рассуждений и потребление GPU, рост идёт экспоненциально. Неконтролируемые ретраи названы одним из главных рисков агентных систем.
▶ 2:06Сбои инфраструктуры и неконтролируемые циклы повторных попытокКак не дать LLM-агенту напрямую менять продакшен-системы?
Модель только предлагает действия, инфраструктура их валидирует, policy engine одобряет, а execution gateway исполняет. Спикер считает этот разделённый контур главным архитектурным принципом для надёжности на вероятностной модели.
▶ 2:06Сбои инфраструктуры и неконтролируемые циклы повторных попытокПочему мультиагентные системы с общей памятью дают устаревшие чтения и конфликтующие обновления?
Общее состояние приносит знакомые проблемы распределённых систем: устаревшие чтения, конфликтующие обновления и дрейф контекста. По словам спикера, многие сбои мультиагентных систем на деле являются ошибками консистентности, а не рассуждений.
▶ 3:30Агентные системы управления (control plane) и координация с общей памятьюЧем трейсы агента отличаются от обычных логов при отладке?
Логи фиксируют, что произошло, а трейсы должны показывать почему: решения планирования, вызовы инструментов, обращения к памяти и переходы состояний. По словам спикера, цепочка решений при отладке часто важнее итогового ответа.
▶ 3:30Агентные системы управления (control plane) и координация с общей памятьюКак устроить многослойную безопасность агентов, если одного промпта недостаточно?
Защита строится слоями: контроли на уровне промпта, права на инструменты, проверки политик, human approvals и аудит. Каждый слой ловит свой класс ошибок, что спикер сравнивает с принципом defense in depth из безопасности.
▶ 3:30Агентные системы управления (control plane) и координация с общей памятьюКак планировать GPU под агентные нагрузки с непредсказуемым спросом?
Агентные нагрузки похожи на задачи кластерного планирования: спрос скачет, глубина рассуждений непредсказуема, сценарии идут минутами. Спикер предлагает эластичную ёмкость, квоты как контроль стоимости и rate limits для агентов.
▶ 5:23Человеческий надзор и эластичное планирование GPU-нагрузок
Главы
Ещё доклады: Nishant Gupta
Страница спикера →Эксплуатация распределённых систем инференса в больших масштабах
AI Engineer World's Fair 2026
Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Похожие доклады
Как построить собственный дата-центр для ИИ в 2025 году
AI Engineer Summit 2025
Близко по содержанию
Как определить, когда AI agent может работать без надзора
Близко по содержанию
События — неподходящая абстракция для AI-агентов
AI Engineer World's Fair 2025
Близко по содержанию

