Большая часть SKILL.md — то, что модель уже знает
Your SKILL.md Is 70% Stuff the Model Already Knows - Nikolay Petrov, Intel
По измерениям спикера, большая часть SKILL.md повторяет то, что модель уже знает, и это можно проверить по отдельным фактам.
- Четыре квадранта вместо догадок — каждый пункт инструкции превращается в пару вопрос-ответ и проверяется дважды: без skill и со skill. Так видно, что модель уже знает, чему skill её действительно учит и что остаётся непонятым.
- Вредные инструкции редки — по словам спикера, из примерно 400 пунктов skills Anthropic лишь один ухудшал ответы модели. В менее популярных наборах таких пунктов, вероятно, больше.
- Понимание концепций против точных значений — по словам спикера, крупные frontier модели усваивают общие идеи примерно на 70%, а точные параметры и шаги всего на 22%. Конкретные значения в инструкции остаются полезными.
- Новизна как точка старта — факты, которые модель уже знает, можно убрать из SKILL.md, прогнать evals и проверить, что качество не упало. Так сокращаются токены и контекст.
Кому полезно: тем, кто поддерживает SKILL.md для агентов и хочет понимать, какие его части несут новые знания, а не дублируют общие.
Статья по теме
Главы
Похожие доклады
Не создавайте агентов — создавайте Skills
AI Engineer Code 2025
Близко по содержанию
Если ваш AI набирает 100%, ваш eval неправильный
Близко по содержанию
Как я удалил 95% skills для agents и добился лучших результатов
AI Engineer Europe 2026
Близко по содержанию
Создание отличных skills для агентов: недостающее руководство
AI Engineer World's Fair 2026
Близко по содержанию

