← Каталог

· AI Engineer World's Fair 2026

Не выпускайте skills без evals

Don't Ship Skills Without Evals

Skills для кодинговых агентов стоит выпускать только с evals, потому что без них не видно, помогает ли Skill, и когда его пора убрать.

  • Директивы вместо эссе в description — description входит в контекст при каждом вызове модели, поэтому пишите коротко, когда и как применять Skill, и добавляйте негативные кейсы, чтобы он не срабатывал на соседние задачи.
  • Проверки без LLM-as-a-judge — для Skill по Gemini Interactions API собрали 117 тест-кейсов и проверяли код регулярными выражениями на SDK, модель и методы; по словам авторов, доля валидного кода выросла почти до 90%.
  • Сравнение с Skill и без него — если модель проходит тесты без Skill, его можно удалить, а eval оставить и вернуть Skill при первой деградации.
  • Регрессии на каждое изменение — eval запускается при каждой правке SKILL.md, и изменение не мержится, если тесты не улучшились; берите 3–6 прогонов на кейс и проверяйте в разных harness, потому что ИИ-сгенерированные Skills по данным Skills Bench иногда ухудшают результат.

Кому полезно: тем, кто поддерживает Skills в команде и хочет понимать, какие из них ещё нужны после обновления моделей.

Статья по теме

Главы

Ещё доклады: Philipp Schmid

Все 5 докладов →

Похожие доклады