← Каталог

· AI Engineer Code 2025

Компиляторы в эпоху LLM

Compilers in the Age of LLMs

Python-функцию с AI-моделью можно скомпилировать в самодостаточную нативную библиотеку, которую вызывает OpenAI-совместимый клиент.

  • Трассировка через AST вместо torch.fx — torch.fx понимает только код PyTorch и требует фиктивных входов, которые трудно описать для изображений и словарей. Собственный трейсер по AST, по словам спикера, работает быстрее LLM-трассировки, которая давала почти 100% точности, но была слишком медленной.
  • Вывод типов для статического кода — Python допускает смену типа переменной, поэтому типы выражений выводятся из сигнатуры функции и типов констант, а затем генерируется типизированный код на C++ или Rust.
  • LLM как генераторы операторов — вместо ручного переписывания каждой операции NumPy и PyTorch модели пишут реализации на C++ и Rust, а корректность проверяют верификацией и тестами, которые тоже генерирует LLM.
  • Один вызов для любой модели — скомпилированная библиотека загружается из Node.js через FFI, а путь к ней выбирается по имени модели в client.embeddings.create, поэтому открытые модели подключаются тем же кодом, что и модели OpenAI.

Кому полезно: тем, кто хочет запускать открытые модели на устройствах и на edge без отдельного Docker-контейнера под каждую модель.

Статья по теме

Главы

Похожие доклады