Компиляторы в эпоху LLM
Compilers in the Age of LLMs
Python-функцию с AI-моделью можно скомпилировать в самодостаточную нативную библиотеку, которую вызывает OpenAI-совместимый клиент.
- Трассировка через AST вместо torch.fx — torch.fx понимает только код PyTorch и требует фиктивных входов, которые трудно описать для изображений и словарей. Собственный трейсер по AST, по словам спикера, работает быстрее LLM-трассировки, которая давала почти 100% точности, но была слишком медленной.
- Вывод типов для статического кода — Python допускает смену типа переменной, поэтому типы выражений выводятся из сигнатуры функции и типов констант, а затем генерируется типизированный код на C++ или Rust.
- LLM как генераторы операторов — вместо ручного переписывания каждой операции NumPy и PyTorch модели пишут реализации на C++ и Rust, а корректность проверяют верификацией и тестами, которые тоже генерирует LLM.
- Один вызов для любой модели — скомпилированная библиотека загружается из Node.js через FFI, а путь к ней выбирается по имени модели в
client.embeddings.create, поэтому открытые модели подключаются тем же кодом, что и модели OpenAI.
Кому полезно: тем, кто хочет запускать открытые модели на устройствах и на edge без отдельного Docker-контейнера под каждую модель.
Статья по теме
Главы
Похожие доклады
Запускаем LLM локально
AI Engineer Summit 2023
Близко по содержанию
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Близко по содержанию
Настраиваемый production-инференс open source-моделей
AI Engineer World's Fair 2024
Близко по содержанию
Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Близко по содержанию

