← Каталог

· AI Engineer World's Fair 2026

Обучение передовых моделей думать на шаг впереди хакеров

Training Frontier Models to Out-Think Hackers — Uri Rolls, Arithmetic & Thom Wolf, Hugging Face

Модели находят отдельные дыры, но, по словам авторов, не проходят длинные цепочки обхода контроля доступа в незнакомых системах, поэтому защите нужны открытые модели.

  • Оценка через цепочку, а не через одну уязвимость — задача на примерно шестнадцать шагов по Keycloak, Vault и брокеру; каждый шаг проверяется детерминированным грейдером, поэтому видно, на каком шаге модель застряла. Уязвимости авторы нашли сами в широко используемом open source ПО, а модель доступа к интернету и коду не получает.
  • Ошибка из несогласованных проверок — одна проверка смотрит на имя администратора, другая на ID. Пользователь переименовывает настоящего админа, наследует его права и поднимает свои; по словам авторов, такие логические ошибки стоят на первом месте в списке OWASP.
  • Разрыв между моделями на сложной задаче — при K1 задача решается одним прогоном, при K5 из публичных моделей её решает только GPT-5.5. Opus в примере дошёл до нужной проверки, но не сделал логического шага, который требовался.
  • Дообучение открытых моделей под защиту — авторы считают, что скорость реакции решит специализированная модель, дообученная (post-training) на таких средах и запущенная на собственном железе, а не зависимость от двух закрытых вендоров.

Кому полезно: тем, кто строит evals для агентов в сервисах с авторизацией и хочет понять, где модели ломаются на многошаговых задачах.

Статья по теме

Главы

Похожие доклады