· AI Engineer World's Fair 2025
Зачем нужна интерпретируемость ИИ
Why you should care about AI interpretability
Внутренние признаки модели можно находить и напрямую менять, и это альтернатива подбору промптов и дорогим LLM-as-a-judge при контроле поведения.
- Правка признаков вместо подбора промпта — атрибуция показывает, какие признаки активны на каждом токене, а усиление признака о чувствительных данных, по словам спикера, заставило Llama защищать email, который без правки модель выдавала. Это демонстрация на одном примере, а не измеренный результат.
- Условный промпт по признаку — когда срабатывает признак про напитки, система подмешивает новую инструкцию в системный промпт прямо во время генерации, без переписывания основного промпта.
- Продакшен-кейсы на Ember — Rakuten использует платформу для многоязычного обнаружения PII в чат-боте, Haize Labs применяет её для red teaming вариантов guardrails. Доклад во многом про продукт Goodfire, но инженерная часть в нём конкретная.
- Сравнение моделей по признакам — идея сравнивать признаки до и после post-training, как git diff, чтобы заметить, например, рост сикофантии до выкатки. Это пока исследовательское направление, а не готовый инструмент.
Кому полезно: тем, кто отлаживает поведение LLM-агентов и пайплайнов без бесконечных правок промпта, и командам в регулируемых отраслях, где нужны объяснимые выходы.
Статья по теме
На какие вопросы отвечает доклад
Когда стоит управлять внутренними признаками модели вместо fine-tuning?
Fine-tuning требует размеченных доменных данных и часто даёт ложные корреляции, mode collapse и reward hacking. Спикер предлагает напрямую усиливать или ослаблять признаки модели через интерпретируемость, без переобучения.
▶ 2:45Практические применения и ограничения традиционных защитных механизмов LLMКак заставить LLM не раскрывать email и другие персональные данные из контекста?
По словам спикера, усиление признака чувствительной информации примерно на 60% заставило модель сохранить email конфиденциальным, хотя до этого она его выдавала. Rakuten использует Ember для multilingual PII detection в чат-боте.
▶ 7:31Управление признаками модели, защита конфиденциальности и пример применения Ember в RakutenКак подменить системный промпт, когда разговор уходит в нужную тему?
Можно поставить слушатель на признак, например напитков, и при его срабатывании во время генерации вставить новую инструкцию. В демо модель, отвечавшая про напитки к пицце, начала рекомендовать Coca-Cola.
▶ 7:31Управление признаками модели, защита конфиденциальности и пример применения Ember в RakutenКак сравнить, какие признаки модели изменились после post-training, например рост sycophancy?
Спикер описывает идею model diffs: сравнивать, какие признаки изменились по весам, как git diff. По его словам, это активное исследовательское направление, а не готовый инструмент.
▶ 7:31Управление признаками модели, защита конфиденциальности и пример применения Ember в RakutenКак найти интерпретируемые признаки внутри языковой модели?
Сейчас лучший подход — sparse autoencoders, у которых есть компромиссы. Спикер отмечает, что другие методы активно исследуются и в ближайшие годы появятся новые.
▶ 19:59Вопрос аудитории и рекомендации по разреженным автоэнкодерамМожно ли обрезать параметры модели, которые уходят на запоминание ненужных данных?
Спикер считает, что такие веса можно найти и использовать для более полезных задач или отрезать лишние части. Он приводит гипотетический пример версии модели только для кодинга, без цифр.
▶ 15:47Манипулирование визуальными концепциями и почему инженерам важно понимать модели
Главы
Похожие доклады
Как создавать надёжный ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Скрытая жизнь эмбеддингов
AI Engineer Summit 2023
Близко по содержанию
Anthropic для вице-президентов по AI
AI Engineer Summit 2025
Близко по содержанию
Защита систем машинного обучения
AI Engineer World's Fair 2024
Близко по содержанию

