← Каталог

· AI Engineer Europe 2026

AI guardrails за $1: удивительная эффективность дообученных ModernBERT

$1 AI Guardrails: The Unreasonable Effectiveness of Finetuned ModernBERTs – Diego Carpintero

Дообученный ModernBERT работает как self-hosted классификатор опасных промптов и контекста с задержкой около 35 мс, и обучить его, по словам автора, можно меньше чем за доллар.

  • Атаки за пределами пользовательского промпта — prompt injection через веб-страницы, почту и описания MCP-инструментов; по словам автора, для отравления RAG хватило пяти фрагментов в базе из восьми миллионов документов.
  • Длинный контекст без лишних затрат — чередование локального внимания (окно 128 токенов) с глобальным слоем каждые три слоя и FlashAttention, по данным автора, снижают память при дообучении примерно на 70%, а контекст достигает 8192 токенов. Это нужно для проверки RAG-фрагментов и планов агентов.
  • Упаковка последовательностей — по данным авторов ModernBERT, пустые токены-заполнители могут занимать до половины вычислений; unpadding и sequence packing с маскированием внимания убирают эти потери.
  • Классификация по CLS-токену — один проход энкодера даёт около 35 мс на запрос без квантования и пакетной обработки; переход с base-версии (около 150 млн параметров) на large, по словам автора, добавил почти шесть пунктов точности на датасете Internet-Guard из 75 тысяч примеров.

Кому полезно: тем, кто хочет дешёвый self-hosted слой проверок входов и контекста перед LLM и агентами. Автор сам называет результат базовой линией, а не эталоном безопасности.

Статья по теме

Главы

Похожие доклады