Какой длины могут быть ваши skills, прежде чем агент забудет ваши инструкции?
How long can your skills be before your agent forgets what you told it? — Laurie Voss, Arize AI
По замерам автора, новые модели держат около 2000 правил в промпте вместо 200, но ломаются по-разному и незаметно.
- Потолок вырос в десять раз — в повторе бенчмарка IFScale модели, которые год назад сыпались на 200–300 правилах, держат около 2000. Лучшая, GPT 5.5, даёт 99% точности до 5000 правил.
- Сбои стали разными — DeepSeek молча забывает правила, Claude отказывается из-за классификатора безопасности, Gemini тратит токены рассуждений и почти не выдаёт ответ, GPT 5.5 пишет половину отчёта и бросает. Такой сбой видно только при чтении всего вывода.
- Соблюдение заданных слов не доказывает рассуждение — тест проверяет только вхождение слов в отчёт, поэтому для реальных задач выводы нужно проверять evals.
- Порядок влияет на результат — статья по 46 моделям показала, что перестановка тех же инструкций заметно меняет качество их выполнения.
Кому полезно: тем, кто пишет длинные skills-файлы и системные промпты и выбирает модель под них.
Статья по теме
Главы
Ещё доклады: Laurie Voss
Все 7 докладов →Как понять, хорош ли ваш AI-агент: evals с Phoenix и Claude
От вайбов до продакшена: оценка и запуск AI agents, которые работают
AI Engineer World's Fair 2026
Смерть code review: что на самом деле говорят данные
AI Engineer World's Fair 2026
Похожие доклады
Как я удалил 95% skills для agents и добился лучших результатов
AI Engineer Europe 2026
Близко по содержанию
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026
Близко по содержанию
Создаём настоящих агентов: практические evals для агентных приложений
AI Engineer Europe 2026
Тот же спикер: Laurie Voss
Законы масштабирования точности постановки задач
AI Engineer Europe 2026
Близко по содержанию

