← Каталог

· AI Engineer World's Fair 2025

Фаззинг в эпоху GenAI

Fuzzing in the GenAI Era

Статичные evals на golden dataset пропускают хрупкость LLM-приложений, тогда как фаззинг входов с автоматическими судьями находит сбои до продакшена.

  • Фаззинг вместо статичного датасета — тестовые входы подбираются оптимизацией, а оценка судьи определяет, в каком направлении искать дальше, пока не найдётся сбой или не закончится бюджет поиска.
  • Verdict: судья из агентов — вместо одного вызова LLM-as-a-judge применяются дебаты моделей, самопроверка и ансамбль на GPT-4o mini. По словам авторов, такой судья обходит o1 при стоимости меньше трети от её стоимости.
  • Маленький reward model — j1-micro на 1.7 млрд параметров, обученный через GRPO на критериях, специфичных для каждого примера, набрал 80,7% на RewardBench, что на уровне GPT-4o mini (80%).
  • Голосовые агенты банка — тесты с фоновым шумом и помехами в аудио заняли у банка из Fortune 500 пять минут, тогда как внутренней команде на это понадобилось около трёх месяцев.

Кому полезно: тем, кто выводит голосовых агентов или LLM-приложения в регулируемых отраслях в продакшен и не уверен, что статичные тесты покрывают реальные входы.

Статья по теме

Главы

Похожие доклады