· AI Engineer World's Fair 2025
Фаззинг в эпоху GenAI
Fuzzing in the GenAI Era
Статичные evals на golden dataset пропускают хрупкость LLM-приложений, тогда как фаззинг входов с автоматическими судьями находит сбои до продакшена.
- Фаззинг вместо статичного датасета — тестовые входы подбираются оптимизацией, а оценка судьи определяет, в каком направлении искать дальше, пока не найдётся сбой или не закончится бюджет поиска.
- Verdict: судья из агентов — вместо одного вызова LLM-as-a-judge применяются дебаты моделей, самопроверка и ансамбль на GPT-4o mini. По словам авторов, такой судья обходит o1 при стоимости меньше трети от её стоимости.
- Маленький reward model — j1-micro на 1.7 млрд параметров, обученный через GRPO на критериях, специфичных для каждого примера, набрал 80,7% на RewardBench, что на уровне GPT-4o mini (80%).
- Голосовые агенты банка — тесты с фоновым шумом и помехами в аудио заняли у банка из Fortune 500 пять минут, тогда как внутренней команде на это понадобилось около трёх месяцев.
Кому полезно: тем, кто выводит голосовых агентов или LLM-приложения в регулируемых отраслях в продакшен и не уверен, что статичные тесты покрывают реальные входы.
Статья по теме
Главы
Похожие доклады
Оценка видео-слопа
AI Engineer World's Fair 2026
Близко по содержанию
Evals AI-агентов для задач с высокой ценой ошибки
Annabell Schäfer, Doneyli De Jesus
Близко по содержанию
Ваш LLM-as-a-judge — самоуверенный лжец: как создавать более надёжные верификаторы
Corby Rosset, Miguel González Fernández
Близко по содержанию
Оценить оценщика: как создавать действительно работающие LLM-оценщики с GEPA
AI Engineer Europe 2026
Близко по содержанию

