← Каталог

AI Engineer NYC 2026 Online Talks

Agents в Orbit: рабочие процессы, а не автопилот

Agents in Orbit: Workflows, Not Autopilot — Eduardo Simon & Javier Casal, Flywire

Flywire строит внутреннюю платформу Orbit, где детерминированный код управляет процессом, а LLM вызывается только в узких шагах с ограниченным доступом.

  • Код-ревью как цепочка шагов — контекст и оценка риска собираются детерминированно, модель получает только read-only доступ к коду и отвечает строгой JSON-схемой, а комментарии публикует отдельный шаг. По словам авторов, за 30 дней было более 9700 запусков, в среднем меньше трёх минут на merge request.
  • Права на каждый шаг — сеть, инструменты, skills и MCP-серверы объявляются для каждого шага в YAML, а в основе лежит Claude Agent SDK, а не собственный harness.
  • Оценка отдельных шагов — каждый LLM-шаг проверяется на сохранённом контексте, golden datasets хранятся в репозитории и запускаются по требованию, трассировка идёт через OpenTelemetry. Онлайн-оценок пока нет.
  • Ограничения ресурсов — таймауты, агрессивные rate limits и блокировки дублирующих запусков. По словам авторов, 99% успешных выполнений из более чем 11 000, но это успех исполнения, а не правильность ответов.

Кому полезно: тем, кто внедряет агентов для инженерной автоматизации в среде с жёсткими требованиями к данным.

Статья по теме

На какие вопросы отвечает доклад

  • Как ограничить, к чему может обращаться LLM-шаг внутри автоматизации?

    Для каждого шага в YAML-файле задают доступ к сети, инструментам, skills и MCP-серверам вплоть до конкретных инструментов. Например, шаг ревью может читать и искать по коду, но не может редактировать файлы или пушить изменения.

    ▶ 11:05Claude Agent SDK и разрешения для каждого шага
  • Как не дать агентам в продакшене разогнать счёт за модели из-за ошибки в интеграции?

    Каждый агент останавливается по таймауту, лимиты запусков агрессивные по умолчанию, а блокировки отбрасывают дубли, например повторный ревью merge request, который уже выполняется.

    ▶ 9:06Лимиты выполнения и изолированные среды
  • Как подключить LLM к ревью merge request, чтобы модель не могла менять код?

    Детерминированные шаги получают метаданные, уровень риска и клонируют репозиторий. Модель только читает код и отвечает строгой JSON-схемой, а отдельный шаг публикует замечания в merge request.

    ▶ 4:05YAML-рабочие процессы и ограниченный code review
  • Как заставить LLM отвечать в формате, по которому код может ветвить логику?

    Каждый LLM-шаг проверяет ответ по строгой JSON-схеме. Если ответ не проходит валидацию, запускается повтор или запасной путь, а дальнейшие переходы идут по детерминированным правилам.

    ▶ 13:07Структурированные результаты, трассировка и пробелы в оценке
  • Как оценивать один LLM-шаг в многошаговом агенте без прогона всего сценария?

    В шаг подставляют точное историческое состояние и контекст. Трейсы OpenTelemetry пополняют golden dataset, который хранится в репозитории и запускается по требованию после правки промпта или модели.

    ▶ 13:07Структурированные результаты, трассировка и пробелы в оценке
  • Что дают LLM-ревью кода и автофиксы зависимостей на практике в крупной компании?

    За 30 дней агент ревью сделал более 9700 запусков, в среднем меньше трёх минут на merge request, а фиксы зависимостей дали 159 merge request. Успешность 99% описывает выполнение запусков, а не правильность ответов.

    ▶ 15:36Заявленные объёмы выполнения и успешность

Главы

Похожие доклады