Как я удалил 95% skills для agents и добился лучших результатов
How I deleted 95% of my agent skills and got better results — Nick Nisi, WorkOS
Агентам не нужно доверять на слово: их результат стоит требовать в виде проверяемых доказательств, которые гарантирует код, а не промпт.
- Проверки между шагами вместо инструкций — спикер построил harness Case на TypeScript state machine, где переход от implementer к reviewer и closer возможен только после прохождения проверки. Модель не может пропустить шаг, потому что переход контролирует код.
- Криптографическое подтверждение тестов — вывод прогона тестов хешируется SHA-256 и сохраняется в файл, поэтому агент не может просто создать файл и заявить, что тесты прошли.
- Меньше skills, выше точность — по словам спикера, одна сгенерированная из документации skill снижала точность задач с 97% до 77%. После удаления 95% skills и замены их на 553 строки частых gotchas время прогона evals сократилось с 68 до 6 минут.
- Сбой как баг harness — спикер предлагает исправлять не результат агента, а harness, и подтверждать UI-исправления видео из Playwright CLI.
Кому полезно: тем, кто внедряет coding агентов в команде и хочет проверять их заявления о тестах и исправлениях.
Доклад цитируется в статьях
Главы
Ещё доклады: Nick Nisi
Все 6 докладов →Похожие доклады
Масштабирование навыков AI-агентов
AI Engineer Europe 2026
Тот же спикер: Nick Nisi
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Создание отличных skills для агентов: недостающее руководство
AI Engineer World's Fair 2026
Близко по содержанию

