← Каталог

· AI Engineer World's Fair 2024

Как безопасно выполнять код в AI-приложении

How to add secure code interpreting in your AI app

Код, который генерирует модель, можно выполнять в изолированной песочнице E2B через tool calling, а результаты, включая графики, возвращать в чат.

  • Изоляция на Firecracker — каждая песочница это отдельная VM, а не контейнер. По словам спикера, при попытке выйти за её пределы машина перезапускается, а Firecracker выбран потому, что его использует AWS Lambda.
  • Сессия на пользователя — песочница помечается metadata с идентификатором пользователя и переподключается через reconnect, поэтому переменные из прошлых запросов сохраняются. Старт, по словам спикера, занимает около 900 мс.
  • Ошибки обратно в модель — ошибки выполнения приходят в структурированном виде с traceback, их можно передать LLM, чтобы она исправила код сама.
  • Окружение из Dockerfile — Dockerfile конвертируется в файловую систему VM, поэтому пакеты можно предустановить или добавить свои.

Кому полезно: тем, кто добавляет выполнение кода, сгенерированного LLM, в своё приложение и решает, строить ли песочницу самому.

Статья по теме

Главы

Похожие доклады