· AI Engineer World's Fair 2026
Как мы проверили 2 000 AI skills до того, как они попали к разработчикам
We Vetted 2,000 AI Skills Before They Reached Developers
Skills для агентов ведут себя как зависимости в цепочке поставок, поэтому их стоит проверять до выдачи разработчикам, и Nubank так проверил 2000 skills.
- Проверка на трёх этапах — разработчик запускает проверку локально, CI повторяет её после загрузки, а результаты появляются комментариями в pull request и в формате SARIF для системы управления уязвимостями.
- Регулярные выражения плюс LLM — детерминированные правила ловят утечки токенов и опасные shell-команды, а LLM оценивает контекст; по словам спикера, одного LLM недостаточно, потому что его ответы зависят от
temperature. - Результаты на 2000 skills — по словам спикера, найдено более 1500 рисков, около тысячи исправили сразу, а несколько самых опасных навыков заблокировали до попадания в маркетплейс.
- Просьба спросить подтверждение не работает — модель может подтвердить действие сама, поэтому проверяют, что опасные действия реально проходят через механизм подтверждения человеком.
Кому полезно: тем, кто в регулируемой отрасли открывает внутренний маркетплейс skills, plugins или MCP-серверов для разработчиков.
Статья по теме
Главы
Похожие доклады
Сквозь туман ИИ: архитектурное решение, от которого зависят следующие 24 месяца безопасности агентного ИИ
Ezra Tanzer, Manoj Nair, Randall Degges
AI Engineer World's Fair 2026
Близко по содержанию
Внедрение AI в пяти крупных банках без 12-месячного ожидания согласований
Близко по содержанию
Skills — новые SDK
AI Engineer World's Fair 2026
Близко по содержанию
300 agents, 60 человек: как мы обеспечили безопасность собственных AI agents
Близко по содержанию

