· AI Engineer World's Fair 2026
1 000 задач для агента в песочнице: что ломается, когда LLM запускают код
1,000 Agent Tasks in a Sandbox: What Breaks When LLMs Run Code — Kevin Orellana, AWS
Прогон тысячи агентных сценариев в облачной песочнице показал, что сбои часто вызывают ограничения окружения: память, права на файлы, персистентность, а не сама модель.
- Тесты через MCP-сервер — coding агент получил доступ к платформе через MCP-сервер и написал 1000 тестов в десяти доменах. Результаты складывались в SQLite, что позволило запускать локальных субагентов параллельно и не плодить markdown-отчёты.
- Сбои на уровне интерфейса — картинка при загрузке и скачивании менялась из-за неверной кодировки в MCP-слое, а null-байты ломали тесты. Файлы, записанные в определённую директорию песочницы, потом не удавалось получить обратно.
- Ограничения песочницы — браузерные сценарии падали из-за нехватки памяти, а в code interpreter такой проблемы не видели. На выполнение задачи влияют память, CPU, права на файлы, создание процессов, сеть и размещение бинарников.
- Фаззинг удалённых окружений — автор советует гонять широкий набор рабочих сценариев в удалённой песочнице и локально. В AgentCore для отладки появился SSH-доступ к песочнице.
Кому полезно: тем, кто запускает агентов в облачных песочницах и хочет понять, где окружение мешает решать задачи.
Статья по теме
На какие вопросы отвечает доклад
Как проверить песочницу для агентов на тысячах сценариев, если вручную это не успеть?
Coding агент подключили к песочнице через MCP-сервер и попросили написать 1000 тестов по десяти доменам. Он прогнал их за ночь, а результаты сохранял в SQLite, что позволяло запускать параллельных локальных суб-агентов.
▶ 1:39Доступ к MCP и 1 000 сгенерированных тестовПочему агент не может скачать файл, который сам записал в песочницу?
Файлы, записанные в определённую директорию песочницы, потом были недоступны для скачивания. Такой сбой относят к ограничениям песочницы: права на файловую систему и то, персистентна она или эфемерна, влияют на результат.
▶ 5:16Кодирование изображений, нулевые байты и недоступные файлыПочему картинка искажается при загрузке и скачивании через MCP?
По словам спикера, ошибка была в слое кодирования MCP: скачанное изображение не совпадало с загруженным. Отдельно нулевой байт ломал тесты, так как в некоторых языках он означает конец строки.
▶ 5:16Кодирование изображений, нулевые байты и недоступные файлыПочему браузерный агент падает с нехваткой памяти в облачной песочнице?
Облачные браузеры тяжёлые по памяти: открытые вкладки быстро её съедают, и многие тесты падали именно из-за лимита памяти. В code interpreter такие сбои не наблюдались.
▶ 7:51Исчерпание памяти браузера и ограничения файловой системыКакие ограничения песочницы мешают агенту выполнить задачу?
Память, CPU, права на файлы, персистентность, возможность создавать процессы, сетевой доступ и размещение пакетов или бинарников влияют на выполнение задач. По словам спикера, эти мелочи складываются в провалы агента.
▶ 9:18Управление ядром и требования к нагрузкеКак отлаживать агента в удалённой песочнице, если локально всё работает?
Можно подключиться к песочнице по SSH и посмотреть, что мешает агенту работать. Локальные инструменты и окружение часто не совпадают с удалённой средой, поэтому тестировать стоит и удалённо, а не только локально.
▶ 12:01Удалённые рабочие пространства и отладка по SSH
Главы
Похожие доклады
Как я перестал беспокоиться и полюбил sandbox
AI Engineer World's Fair 2026
Близко по содержанию
Мы разрешили AI-агенту выполнять команды Bash — и выжили, чтобы об этом рассказать
Близко по содержанию
Песочницы обязательны: 4 способа изолировать coding agents
AI Engineer World's Fair 2026
Близко по содержанию
Сколько учётных данных должно быть у вашего AI-агента? Ни одного.
AI Engineer World's Fair 2026
Близко по содержанию

