← Каталог

Какой длины могут быть ваши skills, прежде чем агент забудет ваши инструкции?

How long can your skills be before your agent forgets what you told it? — Laurie Voss, Arize AI

По замерам автора, новые модели держат около 2000 правил в промпте вместо 200, но ломаются по-разному и незаметно.

  • Потолок вырос в десять раз — в повторе бенчмарка IFScale модели, которые год назад сыпались на 200–300 правилах, держат около 2000. Лучшая, GPT 5.5, даёт 99% точности до 5000 правил.
  • Сбои стали разными — DeepSeek молча забывает правила, Claude отказывается из-за классификатора безопасности, Gemini тратит токены рассуждений и почти не выдаёт ответ, GPT 5.5 пишет половину отчёта и бросает. Такой сбой видно только при чтении всего вывода.
  • Соблюдение заданных слов не доказывает рассуждение — тест проверяет только вхождение слов в отчёт, поэтому для реальных задач выводы нужно проверять evals.
  • Порядок влияет на результат — статья по 46 моделям показала, что перестановка тех же инструкций заметно меняет качество их выполнения.

Кому полезно: тем, кто пишет длинные skills-файлы и системные промпты и выбирает модель под них.

Статья по теме

Главы

Ещё доклады: Laurie Voss

Все 7 докладов →

Похожие доклады