← Каталог

· AI Engineer World's Fair 2025

Как мы взломали AI-агентов весеннего батча YC 2025

How we hacked YC Spring 2025 batch’s AI agents

В LLM-агентах чаще всего ломается инфраструктура вокруг модели: по словам спикера, семь из 16 агентов батча YC взломали за полчаса на каждый.

  • Авторизация на каждом шаге — проверки токена недостаточно, нужно убедиться, что запрошенный ID принадлежит тому, кто делает запрос. Ошибка IDOR открывала чужие профили, чаты и документы, а связанные ID позволяли пройти по всей системе; защита — row-level security и матрица доступа.
  • Агент — это пользователь, а не сервис — права агента должны быть пользовательскими, а LLM не должна определять схему авторизации. Сервисный токен с широкими правами давал доступ к данным клиентов в BigQuery.
  • Песочница для кода — агент с правом записи файлов перезаписал app.py и снял проверки безопасности, после чего через обнаружение метаданных получил сервисный токен. Спикер советует не писать песочницу самостоятельно, а брать готовое решение вроде E2B; контейнер он изоляцией не считает, предпочтительнее виртуальные машины, например Firecracker.
  • SSRF через инструменты — инструмент, который тянул схему БД из приватного GitHub-репозитория, передал Git-креды на адрес, заданный атакующим, и тем самым открыл весь код. Строки на входе инструментов нужно проверять так же строго, как пользовательский ввод.

Кому полезно: тем, кто даёт LLM-агентам доступ к базам данных, внутренним API и выполнению кода.

Статья по теме

На какие вопросы отвечает доклад

  • Как агент может отдать данные другого пользователя через подмену ID в запросе?

    Подмена ID объекта (IDOR) проходит, если проверяется только валидность токена. Нужны две проверки: аутентификация и авторизация по матрице владения, как row-level security; агентов нужно считать пользователями, а не сервисами с широкими правами.

    ▶ 4:11IDOR, утечка данных между пользователями и защита контроля доступа
  • Что такое SSRF в агенте и как через инструмент утекают учётные данные Git?

    Инструмент, который принимал произвольную строку как адрес репозитория, отправил Git-учётные данные на внешний сервер, и так удалось скачать приватный код. Спикер советует санитизировать входы и выходы инструментов.

    ▶ 10:56Обнаружение сети, раскрытие данных BigQuery и устранение уязвимостей
  • Как безопасно запускать coding агентов локально и на сервере?

    Локально агент работает с учётными данными пользователя, поэтому в индустрии выбирают либо режим YOLO, либо подтверждение каждой команды. На сервере выполнение стоит выносить в песочницу с ограничениями сети и времени жизни.

    ▶ 15:50Вопросы и ответы: system prompt и изоляция

Главы

Похожие доклады