AI guardrails за $1: удивительная эффективность дообученных ModernBERT
$1 AI Guardrails: The Unreasonable Effectiveness of Finetuned ModernBERTs – Diego Carpintero
Дообученный ModernBERT работает как self-hosted классификатор опасных промптов и контекста с задержкой около 35 мс, и обучить его, по словам автора, можно меньше чем за доллар.
- Атаки за пределами пользовательского промпта — prompt injection через веб-страницы, почту и описания MCP-инструментов; по словам автора, для отравления RAG хватило пяти фрагментов в базе из восьми миллионов документов.
- Длинный контекст без лишних затрат — чередование локального внимания (окно 128 токенов) с глобальным слоем каждые три слоя и FlashAttention, по данным автора, снижают память при дообучении примерно на 70%, а контекст достигает 8192 токенов. Это нужно для проверки RAG-фрагментов и планов агентов.
- Упаковка последовательностей — по данным авторов ModernBERT, пустые токены-заполнители могут занимать до половины вычислений; unpadding и sequence packing с маскированием внимания убирают эти потери.
- Классификация по CLS-токену — один проход энкодера даёт около 35 мс на запрос без квантования и пакетной обработки; переход с base-версии (около 150 млн параметров) на large, по словам автора, добавил почти шесть пунктов точности на датасете Internet-Guard из 75 тысяч примеров.
Кому полезно: тем, кто хочет дешёвый self-hosted слой проверок входов и контекста перед LLM и агентами. Автор сам называет результат базовой линией, а не эталоном безопасности.
Статья по теме
Главы
Похожие доклады
Адаптация и fine-tuning LLM для специализированных областей
AI Engineer Summit 2023
Близко по содержанию
Защита систем машинного обучения
AI Engineer World's Fair 2024
Близко по содержанию
Guardrails прежде всего: создание медицинского AI для участников программы
AI Engineer World's Fair 2026
Близко по содержанию
Инфраструктура для малых моделей, которую никто не создал (поэтому мы её создали)
AI Engineer World's Fair 2025
Близко по содержанию
