← Каталог

· AI Engineer World's Fair 2025

Зачем нужна интерпретируемость ИИ

Why you should care about AI interpretability

Внутренние признаки модели можно находить и напрямую менять, и это альтернатива подбору промптов и дорогим LLM-as-a-judge при контроле поведения.

  • Правка признаков вместо подбора промпта — атрибуция показывает, какие признаки активны на каждом токене, а усиление признака о чувствительных данных, по словам спикера, заставило Llama защищать email, который без правки модель выдавала. Это демонстрация на одном примере, а не измеренный результат.
  • Условный промпт по признаку — когда срабатывает признак про напитки, система подмешивает новую инструкцию в системный промпт прямо во время генерации, без переписывания основного промпта.
  • Продакшен-кейсы на Ember — Rakuten использует платформу для многоязычного обнаружения PII в чат-боте, Haize Labs применяет её для red teaming вариантов guardrails. Доклад во многом про продукт Goodfire, но инженерная часть в нём конкретная.
  • Сравнение моделей по признакам — идея сравнивать признаки до и после post-training, как git diff, чтобы заметить, например, рост сикофантии до выкатки. Это пока исследовательское направление, а не готовый инструмент.

Кому полезно: тем, кто отлаживает поведение LLM-агентов и пайплайнов без бесконечных правок промпта, и командам в регулируемых отраслях, где нужны объяснимые выходы.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады