← Каталог

· AI Engineer Europe 2026

Spec-driven тестирование агентов: мозг размером с планету

Spec-Driven Testing for Agents With A Brain the Size of A Planet — Steven Willmott, Safe Intelligence

Тестировать агента только датасетом примеров недостаточно: поведение нужно описывать отдельной спецификацией, которая не зависит от фреймворка и модели.

  • Бизнес-правила как проверяемые утверждения — ограничения вроде «скидка не выше 10%» или «возврат не позже 30 дней после покупки» проверяются отдельными тестами, а не надеждой на примеры из датасета.
  • Спецификация как основа security-тестов — по описанию задач видно, в каких темах агент охотно говорит и какие инструменты у него есть, поэтому именно там проще найти уязвимость.
  • Устойчивость ко вводу — проверяйте, сколько опечаток или перефразирований агент выдерживает, как в компьютерном зрении проверяют туман или тряску камеры.
  • Спецификация вне реализации — храните её в репозитории отдельно от LangSmith или Vertex agents, чтобы тесты пережили смену инфраструктуры или модели.

Кому полезно: тем, кто выводит в продакшен агентов поддержки или финансовых задач и не может ограничиться набором примеров.

Статья по теме

На какие вопросы отвечает доклад

  • Почему более крупная модель не всегда безопаснее для агента?

    Джейлбрейки, спрятанные в стихах, иногда срабатывают именно на крупных моделях, которые понимают вложенную инструкцию. Широкий набор задач и инструментов увеличивает поверхность атаки и объём тестирования.

    ▶ 2:32Мозги планетарного масштаба, обходы защит и поверхность атаки агента
  • Как проверить, что агент никогда не нарушает бизнес-правила, например лимит скидки или срок возврата?

    Бизнес-правила, термины компании и роли пользователя описываются явно в спецификации, отдельно от датасета примеров. По словам спикера, проверить, что правило никогда не нарушено, трудно, поэтому его нужно записать явно для тестирующей системы.

    ▶ 5:31Бизнес-правила, семантика предметной области и spec-driven тесты
  • Как проверить устойчивость агента к опечаткам и перефразированию запроса?

    Входы варьируют в пределах допустимого диапазона из спецификации и смотрят, сколько опечаток ломает ответ и насколько стабильны результаты при перефразировании. Аналогия с компьютерным зрением: тесты в тумане и при тряске камеры.

    ▶ 5:31Бизнес-правила, семантика предметной области и spec-driven тесты
  • Как не переписывать тесты агента при смене фреймворка или модели?

    Спецификацию описывают независимо от реализации и хранят, например, в git-репозитории как код. Интеграционные и penetration тесты запускают отдельно от фреймворка, поэтому их можно переиспользовать при смене инфраструктуры.

    ▶ 9:24Устойчивость и независимые от реализации спецификации под контролем версий
  • Как использовать описание задач агента для поиска уязвимостей в нём?

    Спецификацию передают в security-тестирование, потому что агент легче всего уязвим в доменах, где он обязан отвечать. Опаснее всего задачи, где у агента больше прав действовать в инфраструктуре, например в банковских операциях.

    ▶ 5:31Бизнес-правила, семантика предметной области и spec-driven тесты

Главы

Похожие доклады