· AI Engineer World's Fair 2026
Обучение передовых моделей думать на шаг впереди хакеров
Training Frontier Models to Out-Think Hackers — Uri Rolls, Arithmetic & Thom Wolf, Hugging Face
Модели находят отдельные дыры, но, по словам авторов, не проходят длинные цепочки обхода контроля доступа в незнакомых системах, поэтому защите нужны открытые модели.
- Оценка через цепочку, а не через одну уязвимость — задача на примерно шестнадцать шагов по Keycloak, Vault и брокеру; каждый шаг проверяется детерминированным грейдером, поэтому видно, на каком шаге модель застряла. Уязвимости авторы нашли сами в широко используемом open source ПО, а модель доступа к интернету и коду не получает.
- Ошибка из несогласованных проверок — одна проверка смотрит на имя администратора, другая на ID. Пользователь переименовывает настоящего админа, наследует его права и поднимает свои; по словам авторов, такие логические ошибки стоят на первом месте в списке OWASP.
- Разрыв между моделями на сложной задаче — при K1 задача решается одним прогоном, при K5 из публичных моделей её решает только GPT-5.5. Opus в примере дошёл до нужной проверки, но не сделал логического шага, который требовался.
- Дообучение открытых моделей под защиту — авторы считают, что скорость реакции решит специализированная модель, дообученная (post-training) на таких средах и запущенная на собственном железе, а не зависимость от двух закрытых вендоров.
Кому полезно: тем, кто строит evals для агентов в сервисах с авторизацией и хочет понять, где модели ломаются на многошаговых задачах.
Статья по теме
Главы
Похожие доклады
Эксплойты теперь опережают патчи: безопасность open source в эпоху ИИ
Близко по содержанию
Игра бенчмарков: почему она подтасована и как действительно победить
AI Engineer World's Fair 2025
Близко по содержанию
Реальные атаки на AI-агентов и меры, которые могли бы их предотвратить
Близко по содержанию
Защита систем машинного обучения
AI Engineer World's Fair 2024
Близко по содержанию


