Почему большой набор skills сделал агента хуже?
Лишние инструкции не добавляют ума. Nick Nisi скормил агенту 10 000 строк skills из документации, и тот стал чаще ошибаться: с одним из навыков задача сходилась в 77% прогонов, а без него - в 97%. Когда Nisi урезал инструкции до 553 строк граблей, агент ожил.

Что показали замеры
Nick Nisi из WorkOS строил инструмент, где агент подключает сторонний сервис к чужому проекту на любом фреймворке. Сгенерированный код казался рабочим и человеку, и Claude, но приложение падало. Казалось логичным залить в агента всю документацию: так набралось 10 000 строк инструкций, автоматически нарезанных из документации.
Тестовый прогон с этой горой текста занимал 68 минут, регулярно зависал и проходил только со второй-третьей попытки. Денег на токены уходило море, а результат стал только хуже. Тогда Nisi сел и переписал всё руками: вместо пересказа документации оставил 553 строки с конкретными граблями, где агент спотыкался на тестах. Сценарии поехали быстрее и без ошибок.
Самый наглядный замер получился на изолированном навыке. С подключенным файлом агент решал задачу в 77% случаев, а с чистым контекстом - в 97%. Навык откровенно мешал модели думать.
«Я сгенерировал больше 10 000 строк skills, и все они были основаны на нашей документации.»
I generated over 10,000 lines of skills that were all based on our docs.
«Он справлялся в 77% случаев. Но когда я просил сделать ту же задачу без загрузки навыка, он справлялся в 97% случаев.»
It got it correct 77% of the time. But if I asked it to do the same task without loading the skill, it was correct 97% of the time.
«То есть я сам делал его хуже - и узнал об этом только потому, что измерял.»
So I was actively making it worse, and I only knew about that because I was measuring it.
Откуда берётся лишний объём
Matt Pocock в докладе о хороших skills называет раздутые навыки симптомом системных проблем и разбирает три главные причины:
- Вечный груз в контексте. Если модель выбирает навыки сама, описания каждого висят в системном промпте при каждом запросе. Сотня навыков означает сотню описаний в контексте, даже когда они не нужны.
- Слои ила (sediment). В общий файл дописывают все кому не лень, а удалять чужие строчки боятся. В итоге там годами лежит протухший контекст и правила для редких тупиковых веток.
- Холостые инструкции (no-ops). Текст читается солидно, но агент его игнорирует. Пример Pocock - абзац с просьбой писать понятные сообщения коммитов. Выкиньте его, и агент продолжит писать ровно такие же сообщения.
Nisi дополняет: современные модели уже знают популярные библиотеки лучше среднестатистического разработчика. Пересказ официальной справки забивает контекст тем, что модель и так умеет, и отвлекает её от неочевидных ловушек.
«Огромные навыки - обычно симптом того, что не так что-то другое.»
Massive skills are usually a kind of symptom of something else going wrong.
«Части навыка, которые выглядят так, будто что-то делают, но на поведение агента не влияют.»
Things inside the skill that appear to do something but don't actually influence the agent's behavior.
Как навести порядок в навыках
- Считать цифры на тестах. Прогонять один и тот же сценарий с навыком и без него. Nisi подчеркивает, что поймал деградацию агента только благодаря замерам.
- Фиксировать только грабли. Выяснить, где агент стабильно ошибается, и описать ровно эти исключения без пересказа базы.
- Держать одно место правды. Правила под конкретную редкую ветку выносить из базового контекста во вспомогательные файлы.
- Безжалостно резать воду. Простой тест: удалите спорный абзац. Если поведение агента не поменялось, тексту место в корзине.
- Кодить инварианты вместо уговоров. То, что обязательно должно выполняться, Nisi советует закрывать проверками и скриптами, а не надеяться на послушание модели.
Насколько этому можно верить
77% и 97% - это опыт одного инженера на конкретном продукте, а не академическое исследование. У Pocock тоже нет лабораторных графиков, это конспект боевых шишек. Но их выводы сходятся: гора инструкций ухудшает фокус модели. А без строгих замеров вы даже не поймете, что очередная сотня строк в промпте ломает ваш сервис.


