· AI Engineer World's Fair 2026
Не выпускайте skills без evals
Don't Ship Skills Without Evals
Skills для кодинговых агентов стоит выпускать только с evals, потому что без них не видно, помогает ли Skill, и когда его пора убрать.
- Директивы вместо эссе в description — description входит в контекст при каждом вызове модели, поэтому пишите коротко, когда и как применять Skill, и добавляйте негативные кейсы, чтобы он не срабатывал на соседние задачи.
- Проверки без LLM-as-a-judge — для Skill по Gemini Interactions API собрали 117 тест-кейсов и проверяли код регулярными выражениями на SDK, модель и методы; по словам авторов, доля валидного кода выросла почти до 90%.
- Сравнение с Skill и без него — если модель проходит тесты без Skill, его можно удалить, а eval оставить и вернуть Skill при первой деградации.
- Регрессии на каждое изменение — eval запускается при каждой правке SKILL.md, и изменение не мержится, если тесты не улучшились; берите 3–6 прогонов на кейс и проверяйте в разных harness, потому что ИИ-сгенерированные Skills по данным Skills Bench иногда ухудшают результат.
Кому полезно: тем, кто поддерживает Skills в команде и хочет понимать, какие из них ещё нужны после обновления моделей.
Статья по теме
Главы
Ещё доклады: Philipp Schmid
Все 5 докладов →Похожие доклады
Как я удалил 95% skills для agents и добился лучших результатов
AI Engineer Europe 2026
Близко по содержанию
Пять уроков об evals, усвоенных на собственном опыте
AI Engineer World's Fair 2025
Близко по содержанию
Evals несовершенны — всё равно используйте их
AI Engineer Europe 2026
Близко по содержанию

