← Каталог

· AI Engineer World's Fair 2026

Ваш монитор обмана LLM сломан. Решение — в обучающих данных

Your LLM Deception Monitor Is Broken. The Fix Is in the Training Data - Sachin Kumar, LexisNexis

Разница активаций дообученной и базовой модели несёт сигнал спящего бэкдора, который пропускают поведенческие evals: по словам автора, он в 40 раз сильнее совместных признаков.

  • Diff SAE поверх разницы активаций — разреженный автоэнкодер обучается не на активациях модели, а на разнице с базовой моделью. Бэкдор в этой разнице выделяется как отдельный признак, который срабатывает на триггер.
  • Точность без ложных срабатываний — в эксперименте с SQL-инъекцией, которую включал год в контексте, точность лучшего признака равна 1, и на безопасном коде он ни разу не сработал. Один признак ловит около 25% триггеров, поэтому автор советует собирать ансамбль из нескольких признаков.
  • Проверка на каждом билде — для каждого чекпоинта нужен один прямой проход по фиксированному набору проб на одном среднем слое. При срабатывании сборку можно заблокировать, а сам признак изучить и понять, на что он реагирует.
  • Границы применимости — метод требует базовый чекпоинт для сравнения. Эксперимент шёл на одном типе бэкдора и модели SmolLM2-360M, а адаптивный атакующий, который минимизирует разницу, не проверялся.

Кому полезно: тем, кто дообучает модели или берёт чекпоинты со стороны и хочет проверять их перед выкладкой.

Статья по теме

На какие вопросы отвечает доклад

  • Почему бэкдор в модели проходит поведенческие evals и обучение на безопасность?

    Триггер безобидный, например год в промпте, и модель ведёт себя правильно почти на всех входах, поэтому поведенческие тесты его не видят. По словам автора, обучение безопасности (RLHF) тоже не убирает такое условное поведение, а крупные модели держат бэкдор упорнее.

    ▶ 1:46Поверхности атак с бэкдорами и ограничения обучения безопасности
  • Как найти бэкдор после fine-tuning, если есть базовая модель для сравнения?

    Вычесть активации базовой модели из активаций дообученной на тех же входах и обучить разреженный автоэнкодер (Diff SAE) на этой разности. Бэкдор тогда выделяется как одна фича, которая срабатывает на триггер.

    ▶ 4:34Метод Diff SAE и контролируемый эксперимент с SQL-инъекцией
  • Почему совместные фичи двух моделей (crosscoder) не находят бэкдор, а разность активаций находит?

    По словам автора, на тестовом SQL-injection эксперименте crosscoder дал скор около 0,01, а разностный подход около 0,4, то есть сигнал сильнее примерно в 40 раз. Совместные фичи тонут во всей семантике модели, а разность оставляет почти только вектор бэкдора.

    ▶ 7:03Результаты экспериментов, 40-кратное улучшение сигнала и устойчивость
  • Как добавить проверку на бэкдоры в CI перед выкатом дообученной модели?

    Взять фиксированный набор проверочных входов, посчитать дельту активаций в одном среднем слое и пропустить её через Diff SAE. Если главная фича бэкдора срабатывает, сборку блокируют; по словам автора, ложных срабатываний на чистых входах не было.

    ▶ 10:34Интеграция в конвейер, ограничения охвата и выводы
  • Каковы ограничения обнаружения бэкдоров через разницу активаций с базовой моделью?

    Нужна базовая модель для сравнения, одна фича ловит около 25% триггеров, поэтому её берут в ансамбль. Эксперимент проведён на одном типе бэкдора и модели в 360 миллионов параметров, адаптивный атакующий не проверялся.

    ▶ 10:34Интеграция в конвейер, ограничения охвата и выводы

Главы

Похожие доклады