· AI Engineer World's Fair 2025
Как работают LLM: GPT на 600 строках чистого JavaScript
How LLMs work for Web Devs: GPT in 600 lines of Vanilla JS
Понять устройство современных LLM можно по GPT-2, которую автор переписал на 600 строках чистого JavaScript и запустил прямо в браузере.
- Токенизация как сжатие — BPE изначально был алгоритмом сжатия текста: частые пары символов объединяются в токены. Поэтому модель получает куски слов, а не буквы, и отсюда её слабость в подсчёте букв.
- Порядок слов в эмбеддингах — позиция задаётся отдельной таблицей позиционных эмбеддингов. В GPT-2 это обучаемые веса, а не синусы и косинусы из оригинальной статьи; современные модели переходят на RoPE.
- Выбор следующего токена — итоговый вектор скалярно умножается на эмбеддинги всех токенов словаря, а softmax превращает результат в распределение вероятностей. Жадный выбор без случайности, по словам автора, даёт тот же ответ, что Hugging Face Transformers, и удобен для проверки.
- Промпт тратит вычисления — объём работы на токен фиксирован, поэтому опечатки и лишний шум отнимают ресурсы у модели. По словам автора, вежливые формулировки на новых моделях почти не помогают, поведение стоит проверять evals.
Кому полезно: веб-разработчикам и full-stack инженерам, которые строят продукты на LLM и хотят понять модель без Python и глубокой линейной алгебры.
Статья по теме
Главы
Ещё доклады: Ishan Anand
Страница спикера →Таблиц достаточно: как устроена decoder LLM — без кода
AI Engineer World's Fair 2024
Инженерия персон: практическое руководство по синтетическим персонам на базе ИИ
AI Engineer World's Fair 2026
Похожие доклады
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Близко по содержанию
Инференс LLM в больших масштабах
Близко по содержанию
Технические основы LLM на низком уровне
AI Engineer World's Fair 2024
Близко по содержанию

