← Каталог

· AI Engineer World's Fair 2026

Детерминированная инфраструктура для недетерминированных AI agents

Building Deterministic Infrastructure for Non-Deterministic AI Agents

Агентов в продакшене стоит строить как распределённые системы: модель только предлагает действия, а детерминированная инфраструктура их проверяет, ограничивает и исполняет.

  • Модель предлагает, платформа решает — модель генерирует предложения, инфраструктура их валидирует, policy engine одобряет, а execution gateway исполняет. По словам спикера, так система остаётся надёжной даже при вероятностной модели.
  • Повторы после ошибок съедают GPU — если агент на каждую ошибку инструмента генерирует почти такой же неверный запрос, потребление вычислений растёт экспоненциально. Спикер предлагает ставить на агентов защиты из классического бэкенда: circuit breakers на инструменты, rate limits и квоты на стоимость.
  • Сбои общей памяти — это ошибки консистентности — stale reads и конфликтующие обновления между агентами часто выглядят как ошибки рассуждения, хотя причина в распределённом состоянии.
  • Слоистая безопасность и люди на исключениях — промпт-контроли, права на инструменты, policy-проверки, human approvals и audit ловят разные классы сбоев. Спикер считает, что люди останутся в системе как обработчики исключений, а трассировка планирования и вызовов инструментов нужна для отладки.

Кому полезно: тем, кто выводит агентов с многошаговыми вызовами инструментов в продакшен и сталкивается с зацикливаниями или ростом расходов на GPU.

Статья по теме

На какие вопросы отвечает доклад

  • Почему ошибка вызова инструмента у агента приводит к росту расхода GPU?

    Агент после ошибки инструмента генерирует почти такой же невалидный запрос, и цикл повторяется. Каждый ретрай увеличивает глубину рассуждений и потребление GPU, рост идёт экспоненциально. Неконтролируемые ретраи названы одним из главных рисков агентных систем.

    ▶ 2:06Сбои инфраструктуры и неконтролируемые циклы повторных попыток
  • Как не дать LLM-агенту напрямую менять продакшен-системы?

    Модель только предлагает действия, инфраструктура их валидирует, policy engine одобряет, а execution gateway исполняет. Спикер считает этот разделённый контур главным архитектурным принципом для надёжности на вероятностной модели.

    ▶ 2:06Сбои инфраструктуры и неконтролируемые циклы повторных попыток
  • Почему мультиагентные системы с общей памятью дают устаревшие чтения и конфликтующие обновления?

    Общее состояние приносит знакомые проблемы распределённых систем: устаревшие чтения, конфликтующие обновления и дрейф контекста. По словам спикера, многие сбои мультиагентных систем на деле являются ошибками консистентности, а не рассуждений.

    ▶ 3:30Агентные системы управления (control plane) и координация с общей памятью
  • Чем трейсы агента отличаются от обычных логов при отладке?

    Логи фиксируют, что произошло, а трейсы должны показывать почему: решения планирования, вызовы инструментов, обращения к памяти и переходы состояний. По словам спикера, цепочка решений при отладке часто важнее итогового ответа.

    ▶ 3:30Агентные системы управления (control plane) и координация с общей памятью
  • Как устроить многослойную безопасность агентов, если одного промпта недостаточно?

    Защита строится слоями: контроли на уровне промпта, права на инструменты, проверки политик, human approvals и аудит. Каждый слой ловит свой класс ошибок, что спикер сравнивает с принципом defense in depth из безопасности.

    ▶ 3:30Агентные системы управления (control plane) и координация с общей памятью
  • Как планировать GPU под агентные нагрузки с непредсказуемым спросом?

    Агентные нагрузки похожи на задачи кластерного планирования: спрос скачет, глубина рассуждений непредсказуема, сценарии идут минутами. Спикер предлагает эластичную ёмкость, квоты как контроль стоимости и rate limits для агентов.

    ▶ 5:23Человеческий надзор и эластичное планирование GPU-нагрузок

Главы

Ещё доклады: Nishant Gupta

Страница спикера →

Похожие доклады