← Каталог

· AI Engineer World's Fair 2024

Таблиц достаточно: как устроена decoder LLM — без кода

Spreadsheets-are-all-you-need: Decoding the Decoder LLM without de code

Внутренности GPT-2 Small можно разобрать в Excel, и добавление одного вектора признака в residual stream заставляет модель менять продолжение текста.

  • Logit lens по слоям — выход модели можно снимать после каждого слоя: в примере «Если сегодня вторник, завтра» ответ «среда» на средних слоях пропадает и возвращается ближе к концу. По словам спикера, исследователи нашли, что за этот навык отвечают всего несколько компонентов сети.
  • Steering через sparse autoencoder — decoder-вектор признака из слоя два прибавляется к residual stream простым сложением. В примере продолжение «Mike pulls out his» меняется с телефона на световой меч.
  • Вектор через разность активаций — activation steering строит вектор разностью активаций двух концептов, а representation engineering получает его через PCA. Anthropic в Golden Gate Claude делал steering похожим образом.
  • Порядок промпта под архитектуру — авторы RWKV советуют ставить контекст раньше инструкций, потому что их псевдо-attention не смотрит назад так, как обычный трансформер.

Кому полезно: тем, кто хочет понять устройство трансформера без Python и разобраться, как менять поведение модели через признаки.

Статья по теме

Главы

Ещё доклады: Ishan Anand

Страница спикера →

Похожие доклады