← Каталог

Нулевые холодные старты: бессерверные AI agents на Akamai Functions

Zero Cold Starts: Serverless AI Agents on Akamai Functions — Thorsten Hans

MCP-сервер и AI-агента можно собрать на WebAssembly и развернуть глобально одной командой, и, по словам спикера, запуск на каждый запрос занимает меньше полмиллисекунды.

  • Холодный старт на каждый запрос — по словам спикера, запуск workload в Akamai Functions занимает в среднем меньше полмиллисекунды, тогда как контейнеры и VM могут стартовать от секунд до минут.
  • Компоненты вместо собственного MCP-сервера — wasmcp собирает сервер из готовых Wasm-компонентов, например для аутентификации через OAuth2 и OIDC, а разработчик пишет только tools, resources и prompts.
  • Предзагрузка JavaScript на этапе сборки — интерпретатор, код и зависимости выполняются при сборке, а результат сохраняется как memory snapshot; платой становится поставка JavaScript-рантайма, по словам спикера около 10 МБ.
  • Реальная задержка агента — первоначальная цифра 33–34 мс оказалась ошибкой, а полный цикл агента с LLM через Ollama на GPU, по замеру спикера, занимает около 820–866 мс.

Кому полезно: тем, кто выбирает платформу для MCP-серверов и агентов с пользователями в разных регионах. Доклад во многом презентация Akamai Functions, но инженерная часть про Spin и wasmcp полезна и без неё.

Статья по теме

На какие вопросы отвечает доклад

  • Как убрать холодный старт у MCP-сервера и агентов, не держа лишние контейнеры?

    По словам спикера, Akamai Functions запускает workload на каждый запрос в среднем меньше чем за полмиллисекунды, а приложение распределяется по миру без отдельной настройки. Изоляция обеспечивается песочницей WebAssembly.

    ▶ 4:41Akamai Functions: запуск, изоляция в sandbox и хранение данных
  • Как собрать MCP-сервер из готовых компонентов, не реализуя протокол вручную?

    Инструмент wasmcp создаёт проект с TypeScript, Rust или Python, команда compose собирает из скомпилированных инструментов полноценный MCP-сервер, а авторизацию OAuth2 и OIDC берут готовыми компонентами. Проверка идёт через MCP Inspector.

    ▶ 6:11Композиция компонентов MCP с wasmcp
  • Как развернуть MCP-сервер сразу в нескольких регионах с проверкой готовности?

    Команда spin aka deploy загружает Wasm-файл и манифест, каждый регион подтверждает получение и запускает workload, а после HTTP 200 во всех регионах выдаётся публичный адрес. По словам спикера, это занимает около минуты.

    ▶ 12:39Глобальное развёртывание и региональные проверки работоспособности
  • Как хранить состояние инструментов MCP локально и в облаке без переписывания кода?

    При локальной разработке Spin создаёт key-value хранилище на SQLite, а на Akamai Functions тот же код работает с распределённым управляемым key-value хранилищем без дополнительной настройки.

    ▶ 10:39Сервер журнала решений на Rust и хранение данных в формате ключ—значение
  • Почему JavaScript-агент на WebAssembly быстрее стартует при холодном запуске?

    Интерпретатор, пользовательский код и глобальная область видимости загружаются на этапе сборки, после чего memory snapshot записывается в Wasm. Цена подхода в том, что в пакет входит JavaScript-рантайм StarlingMonkey размером около 10 МБ.

    ▶ 17:47Развёртывание агента и снимки памяти JavaScript
  • Сколько занимает полный цикл вызова LLM в агенте, развёрнутом на edge?

    По словам спикера, полный цикл через LLM на Ollama с GPU-инстансом занимает около 820 мс. Первое значение 33–34 мс было ошибкой, исправленной на 866 мс.

    ▶ 19:02Запросы в реальном времени и уточнённые наблюдения о задержках

Главы

Похожие доклады