← Каталог

· AI Engineer World's Fair 2025

Foundry Local: передовые AI-приложения на устройстве с ONNX Runtime и Olive

Foundry Local: Cutting-Edge AI Experiences on Device with ONNX Runtime and Olive — Emma Ning, Microsoft

Foundry Local, по словам спикера, позволяет собрать кроссплатформенное приложение на локальных моделях, которое работает офлайн и не отправляет данные в облако.

  • Один код на Windows и macOS — демо-приложение на JavaScript SDK передали коллеге с Mac, и он запустил его командой npm run start без изменений кода.
  • Варианты модели под железо — одна модель в каталоге Foundry Local имеет сборки для CPU, CUDA, встроенной GPU и NPU; варианты, которых нет на устройстве, в списке не появляются.
  • Локальный агент с MCP-серверами — агент собирается из одной модели и одного или нескольких MCP-серверов; OCR-агент с доступом к файловой системе нашёл чек на диске и извлёк из него итоговую сумму.
  • Ограничение локальных моделей — по словам спикера, они заметно слабее облачных, поэтому сложные задачи на них ожидать не стоит; агентная функция пока в закрытом превью.

Кому полезно: тем, кто делает приложения для работы с конфиденциальными документами или офлайн-сценариями и хочет поддержать Windows и macOS одним стеком.

Статья по теме

Главы

Похожие доклады