Spec-driven тестирование агентов: мозг размером с планету
Spec-Driven Testing for Agents With A Brain the Size of A Planet — Steven Willmott, Safe Intelligence
Тестировать агента только датасетом примеров недостаточно: поведение нужно описывать отдельной спецификацией, которая не зависит от фреймворка и модели.
- Бизнес-правила как проверяемые утверждения — ограничения вроде «скидка не выше 10%» или «возврат не позже 30 дней после покупки» проверяются отдельными тестами, а не надеждой на примеры из датасета.
- Спецификация как основа security-тестов — по описанию задач видно, в каких темах агент охотно говорит и какие инструменты у него есть, поэтому именно там проще найти уязвимость.
- Устойчивость ко вводу — проверяйте, сколько опечаток или перефразирований агент выдерживает, как в компьютерном зрении проверяют туман или тряску камеры.
- Спецификация вне реализации — храните её в репозитории отдельно от LangSmith или Vertex agents, чтобы тесты пережили смену инфраструктуры или модели.
Кому полезно: тем, кто выводит в продакшен агентов поддержки или финансовых задач и не может ограничиться набором примеров.
Статья по теме
На какие вопросы отвечает доклад
Почему более крупная модель не всегда безопаснее для агента?
Джейлбрейки, спрятанные в стихах, иногда срабатывают именно на крупных моделях, которые понимают вложенную инструкцию. Широкий набор задач и инструментов увеличивает поверхность атаки и объём тестирования.
▶ 2:32Мозги планетарного масштаба, обходы защит и поверхность атаки агентаКак проверить, что агент никогда не нарушает бизнес-правила, например лимит скидки или срок возврата?
Бизнес-правила, термины компании и роли пользователя описываются явно в спецификации, отдельно от датасета примеров. По словам спикера, проверить, что правило никогда не нарушено, трудно, поэтому его нужно записать явно для тестирующей системы.
▶ 5:31Бизнес-правила, семантика предметной области и spec-driven тестыКак проверить устойчивость агента к опечаткам и перефразированию запроса?
Входы варьируют в пределах допустимого диапазона из спецификации и смотрят, сколько опечаток ломает ответ и насколько стабильны результаты при перефразировании. Аналогия с компьютерным зрением: тесты в тумане и при тряске камеры.
▶ 5:31Бизнес-правила, семантика предметной области и spec-driven тестыКак не переписывать тесты агента при смене фреймворка или модели?
Спецификацию описывают независимо от реализации и хранят, например, в git-репозитории как код. Интеграционные и penetration тесты запускают отдельно от фреймворка, поэтому их можно переиспользовать при смене инфраструктуры.
▶ 9:24Устойчивость и независимые от реализации спецификации под контролем версийКак использовать описание задач агента для поиска уязвимостей в нём?
Спецификацию передают в security-тестирование, потому что агент легче всего уязвим в доменах, где он обязан отвечать. Опаснее всего задачи, где у агента больше прав действовать в инфраструктуре, например в банковских операциях.
▶ 5:31Бизнес-правила, семантика предметной области и spec-driven тесты
Главы
Похожие доклады
Я не видел ничего страшнее LLM с tool calls
AI Engineer World's Fair 2026
Близко по содержанию
Агентам нужны feature flags
AI Engineer World's Fair 2026
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Юрский период ИИ
AI Engineer World's Fair 2026
Близко по содержанию

