← Каталог

· AI Engineer World's Fair 2025

Как работают LLM: GPT на 600 строках чистого JavaScript

How LLMs work for Web Devs: GPT in 600 lines of Vanilla JS

Понять устройство современных LLM можно по GPT-2, которую автор переписал на 600 строках чистого JavaScript и запустил прямо в браузере.

  • Токенизация как сжатие — BPE изначально был алгоритмом сжатия текста: частые пары символов объединяются в токены. Поэтому модель получает куски слов, а не буквы, и отсюда её слабость в подсчёте букв.
  • Порядок слов в эмбеддингах — позиция задаётся отдельной таблицей позиционных эмбеддингов. В GPT-2 это обучаемые веса, а не синусы и косинусы из оригинальной статьи; современные модели переходят на RoPE.
  • Выбор следующего токена — итоговый вектор скалярно умножается на эмбеддинги всех токенов словаря, а softmax превращает результат в распределение вероятностей. Жадный выбор без случайности, по словам автора, даёт тот же ответ, что Hugging Face Transformers, и удобен для проверки.
  • Промпт тратит вычисления — объём работы на токен фиксирован, поэтому опечатки и лишний шум отнимают ресурсы у модели. По словам автора, вежливые формулировки на новых моделях почти не помогают, поведение стоит проверять evals.

Кому полезно: веб-разработчикам и full-stack инженерам, которые строят продукты на LLM и хотят понять модель без Python и глубокой линейной алгебры.

Статья по теме

Главы

Ещё доклады: Ishan Anand

Страница спикера →

Похожие доклады