· AI Engineer World's Fair 2024
Таблиц достаточно: как устроена decoder LLM — без кода
Spreadsheets-are-all-you-need: Decoding the Decoder LLM without de code
Внутренности GPT-2 Small можно разобрать в Excel, и добавление одного вектора признака в residual stream заставляет модель менять продолжение текста.
- Logit lens по слоям — выход модели можно снимать после каждого слоя: в примере «Если сегодня вторник, завтра» ответ «среда» на средних слоях пропадает и возвращается ближе к концу. По словам спикера, исследователи нашли, что за этот навык отвечают всего несколько компонентов сети.
- Steering через sparse autoencoder — decoder-вектор признака из слоя два прибавляется к residual stream простым сложением. В примере продолжение «Mike pulls out his» меняется с телефона на световой меч.
- Вектор через разность активаций — activation steering строит вектор разностью активаций двух концептов, а representation engineering получает его через PCA. Anthropic в Golden Gate Claude делал steering похожим образом.
- Порядок промпта под архитектуру — авторы RWKV советуют ставить контекст раньше инструкций, потому что их псевдо-attention не смотрит назад так, как обычный трансформер.
Кому полезно: тем, кто хочет понять устройство трансформера без Python и разобраться, как менять поведение модели через признаки.
Статья по теме
Главы
Ещё доклады: Ishan Anand
Страница спикера →Инженерия персон: практическое руководство по синтетическим персонам на базе ИИ
AI Engineer World's Fair 2026
Как работают LLM: GPT на 600 строках чистого JavaScript
AI Engineer World's Fair 2025
Похожие доклады
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Близко по содержанию
Технические основы LLM на низком уровне
AI Engineer World's Fair 2024
Близко по содержанию
Обучение LLM с нуля на локальном компьютере
AI Engineer Europe 2026
Близко по содержанию

