← Каталог

· AI Engineer World's Fair 2026

1 000 задач для агента в песочнице: что ломается, когда LLM запускают код

1,000 Agent Tasks in a Sandbox: What Breaks When LLMs Run Code — Kevin Orellana, AWS

Прогон тысячи агентных сценариев в облачной песочнице показал, что сбои часто вызывают ограничения окружения: память, права на файлы, персистентность, а не сама модель.

  • Тесты через MCP-сервер — coding агент получил доступ к платформе через MCP-сервер и написал 1000 тестов в десяти доменах. Результаты складывались в SQLite, что позволило запускать локальных субагентов параллельно и не плодить markdown-отчёты.
  • Сбои на уровне интерфейса — картинка при загрузке и скачивании менялась из-за неверной кодировки в MCP-слое, а null-байты ломали тесты. Файлы, записанные в определённую директорию песочницы, потом не удавалось получить обратно.
  • Ограничения песочницы — браузерные сценарии падали из-за нехватки памяти, а в code interpreter такой проблемы не видели. На выполнение задачи влияют память, CPU, права на файлы, создание процессов, сеть и размещение бинарников.
  • Фаззинг удалённых окружений — автор советует гонять широкий набор рабочих сценариев в удалённой песочнице и локально. В AgentCore для отладки появился SSH-доступ к песочнице.

Кому полезно: тем, кто запускает агентов в облачных песочницах и хочет понять, где окружение мешает решать задачи.

Статья по теме

На какие вопросы отвечает доклад

  • Как проверить песочницу для агентов на тысячах сценариев, если вручную это не успеть?

    Coding агент подключили к песочнице через MCP-сервер и попросили написать 1000 тестов по десяти доменам. Он прогнал их за ночь, а результаты сохранял в SQLite, что позволяло запускать параллельных локальных суб-агентов.

    ▶ 1:39Доступ к MCP и 1 000 сгенерированных тестов
  • Почему агент не может скачать файл, который сам записал в песочницу?

    Файлы, записанные в определённую директорию песочницы, потом были недоступны для скачивания. Такой сбой относят к ограничениям песочницы: права на файловую систему и то, персистентна она или эфемерна, влияют на результат.

    ▶ 5:16Кодирование изображений, нулевые байты и недоступные файлы
  • Почему картинка искажается при загрузке и скачивании через MCP?

    По словам спикера, ошибка была в слое кодирования MCP: скачанное изображение не совпадало с загруженным. Отдельно нулевой байт ломал тесты, так как в некоторых языках он означает конец строки.

    ▶ 5:16Кодирование изображений, нулевые байты и недоступные файлы
  • Почему браузерный агент падает с нехваткой памяти в облачной песочнице?

    Облачные браузеры тяжёлые по памяти: открытые вкладки быстро её съедают, и многие тесты падали именно из-за лимита памяти. В code interpreter такие сбои не наблюдались.

    ▶ 7:51Исчерпание памяти браузера и ограничения файловой системы
  • Какие ограничения песочницы мешают агенту выполнить задачу?

    Память, CPU, права на файлы, персистентность, возможность создавать процессы, сетевой доступ и размещение пакетов или бинарников влияют на выполнение задач. По словам спикера, эти мелочи складываются в провалы агента.

    ▶ 9:18Управление ядром и требования к нагрузке
  • Как отлаживать агента в удалённой песочнице, если локально всё работает?

    Можно подключиться к песочнице по SSH и посмотреть, что мешает агенту работать. Локальные инструменты и окружение часто не совпадают с удалённой средой, поэтому тестировать стоит и удалённо, а не только локально.

    ▶ 12:01Удалённые рабочие пространства и отладка по SSH

Главы

Похожие доклады