← Каталог

· AI Engineer World's Fair 2026

Как мы проверили 2 000 AI skills до того, как они попали к разработчикам

We Vetted 2,000 AI Skills Before They Reached Developers

Skills для агентов ведут себя как зависимости в цепочке поставок, поэтому их стоит проверять до выдачи разработчикам, и Nubank так проверил 2000 skills.

  • Проверка на трёх этапах — разработчик запускает проверку локально, CI повторяет её после загрузки, а результаты появляются комментариями в pull request и в формате SARIF для системы управления уязвимостями.
  • Регулярные выражения плюс LLM — детерминированные правила ловят утечки токенов и опасные shell-команды, а LLM оценивает контекст; по словам спикера, одного LLM недостаточно, потому что его ответы зависят от temperature.
  • Результаты на 2000 skills — по словам спикера, найдено более 1500 рисков, около тысячи исправили сразу, а несколько самых опасных навыков заблокировали до попадания в маркетплейс.
  • Просьба спросить подтверждение не работает — модель может подтвердить действие сама, поэтому проверяют, что опасные действия реально проходят через механизм подтверждения человеком.

Кому полезно: тем, кто в регулируемой отрасли открывает внутренний маркетплейс skills, plugins или MCP-серверов для разработчиков.

Статья по теме

Главы

Похожие доклады