← Каталог

· AI Engineer World's Fair 2026

Сквозь туман ИИ: архитектурное решение, от которого зависят следующие 24 месяца безопасности агентного ИИ

Through the AI Fog: The architectural decision the next 24 months of agentic security depends on.

Один и тот же LLM не должен и писать код, и проверять его безопасность: по словам спикера, для агентной разработки нужны детерминированные проверки.

  • Одной LLM-проверки мало — в бенчмарке авторов, по их словам, самые новые модели находили одну и ту же уязвимость лишь в половине из пяти запусков, а найденных проблем было 75% против обычной детерминированной проверки; F1 составил 0,4.
  • Skills и MCP-серверы — поверхность атаки — по данным авторов, больше трети Skills содержат вредоносный код или уязвимости. В демо Skill тянул правила классификации из YAML-файла на внешнем сайте, так что его поведение менялось без правок в самом Skill.
  • Агенты копируют PII в свои базы — агент может создать копию персональных данных «на всякий случай», и эта база окажется вне зоны контроля безопасности. Устойчивость моделей к извлечению данных и к переопределению решений заметно различается, поэтому её нужно проверять для каждой модели.
  • Исправление уязвимостей на масштабе — по словам спикера, Labelbox довёл число уязвимостей и backlog до нуля, а агент для исправления одной из крупных компаний закрыл 16 тысяч критичных проблем. Безопасность обновления оценивали по данным о том, не сломает ли оно приложение.

Кому полезно: тем, кто подключает Skills и MCP-серверы к кодинговым агентам в компании. Доклад во многом продуктовый: Snyk презентует свой Evo и продукт для безопасности агентной разработки.

Статья по теме

На какие вопросы отвечает доклад

  • Почему AI-агенты для кодинга выбирают уязвимые или вредоносные пакеты и как это остановить?

    Проверка безопасности встроена в цикл агента: она смотрит здоровье пакета, известные уязвимости и вредоносный код до выбора. В демо сравнили два пакета для QR-кодов: один активно поддерживается, у другого первый релиз был десять лет назад.

    ▶ 6:02Отравленные Skills, MCP-серверы, цепочки эксплойтов и риски моделей
  • Как проверить Skills для агента на вредоносные инструкции до установки?

    Оценка риска нашла в чужом skill четыре проблемы, включая просьбу выводить authorization header. Самый опасный случай: skill подтягивал правила из YAML на внешнем сайте, и их можно поменять, не меняя сам файл skill.

    ▶ 14:25Устранение проблем в корпоративной среде и демонстрации инструментов безопасности
  • Насколько надёжно LLM находят уязвимости в коде по сравнению с детерминированными сканерами?

    По словам спикера, новые модели находили одну и ту же уязвимость только в половине из пяти запусков и 75% проблем, тогда как детерминированная проверка работает стабильно. Он советует использовать LLM вместе с детерминированными проверками, а не вместо них.

    ▶ 6:02Отравленные Skills, MCP-серверы, цепочки эксплойтов и риски моделей
  • Почему агенты копируют персональные данные клиентов в свои базы и как это контролировать?

    В окружениях крупных клиентов агенты создавали копии PII в базах «на всякий случай», и эти базы выпадали из зоны безопасности. Спикер считает, что такие действия нужно ограничивать и направлять поведение агента.

    ▶ 6:02Отравленные Skills, MCP-серверы, цепочки эксплойтов и риски моделей
  • Как быстро закрыть весь накопившийся список уязвимостей, не сломав приложение?

    Агент для исправлений учитывает breakability, то есть риск поломки приложения, и подбирает безопасное обновление. По словам спикера, Labelbox довёл число уязвимостей до нуля, а крупная компания из Magnificent Seven за неделю исправила 16 тысяч критических проблем.

    ▶ 14:25Устранение проблем в корпоративной среде и демонстрации инструментов безопасности
  • Почему приоритизация только критичных и высоких уязвимостей перестала защищать?

    Атакующие связывают несколько низких уязвимостей в один эксплойт, и с хорошим harness это возможно даже без самых сильных моделей. Спикер предлагает контекстное управление рисками вместо правила «закрыть критичные и высокие».

    ▶ 6:02Отравленные Skills, MCP-серверы, цепочки эксплойтов и риски моделей

Главы

Ещё доклады: Ezra Tanzer

Страница спикера →

Похожие доклады