← Каталог

· AI Engineer Europe 2026

Контекст — это новый код

Context Is the New Code

Инструкции и skills для кодинговых агентов стоит вести как исходный код: тестировать, распространять и наблюдать за ними.

  • Evals для контекста — проверки строятся по уровням: линтер валидирует формат, например длину description у skill, а LLM-as-a-judge проверяет, что сгенерированный код следует правилам компании, вплоть до префикса /awesome у эндпоинтов. Если LLM-as-a-judge получает инструмент и sandbox, он может выполнить curl и проверить работу эндпоинта целиком.
  • Допустимая доля падений — результаты агентов недетерминированы, поэтому тест запускают несколько раз, например пять, и смотрят на долю успешных прогонов. Для важных наборов задают допустимую долю падений, а не требуют прохождения каждого прогона.
  • Фильтр контекста поверх sandbox — sandbox не блокирует AGENTS.md и SKILL.md, которые агент загружает сразу, поэтому спикер предлагает фильтр, похожий на WAF, против prompt injection. По словам спикера, почти все публичные skills слабые, поэтому при распространении нужны сканирование и AI SBOM: кто и на какой модели создал контекст.
  • Логи агентов как обратная связь — когда агент чего-то не знает, недостающий фрагмент добавляют в контекст и раздают всей команде. Если несколько разработчиков упираются в одно и то же, это сигнал для общего правила.

Кому полезно: тем, кто ведёт AGENTS.md или skills на команду и хочет понимать, как проверять их изменения.

Статья по теме

Главы

Ещё доклады: Patrick Debois

Все 5 докладов →

Похожие доклады