· AI Engineer World's Fair 2025
Foundry Local: передовые AI-приложения на устройстве с ONNX Runtime и Olive
Foundry Local: Cutting-Edge AI Experiences on Device with ONNX Runtime and Olive — Emma Ning, Microsoft
Foundry Local, по словам спикера, позволяет собрать кроссплатформенное приложение на локальных моделях, которое работает офлайн и не отправляет данные в облако.
- Один код на Windows и macOS — демо-приложение на JavaScript SDK передали коллеге с Mac, и он запустил его командой
npm run startбез изменений кода. - Варианты модели под железо — одна модель в каталоге Foundry Local имеет сборки для CPU, CUDA, встроенной GPU и NPU; варианты, которых нет на устройстве, в списке не появляются.
- Локальный агент с MCP-серверами — агент собирается из одной модели и одного или нескольких MCP-серверов; OCR-агент с доступом к файловой системе нашёл чек на диске и извлёк из него итоговую сумму.
- Ограничение локальных моделей — по словам спикера, они заметно слабее облачных, поэтому сложные задачи на них ожидать не стоит; агентная функция пока в закрытом превью.
Кому полезно: тем, кто делает приложения для работы с конфиденциальными документами или офлайн-сценариями и хочет поддержать Windows и macOS одним стеком.
Статья по теме
Главы
Похожие доклады
Запускаем LLM локально
AI Engineer Summit 2023
Близко по содержанию
Ускорение AI на периферии
AI Engineer Europe 2026
Близко по содержанию
Llamafile: ИИ для всех благодаря быстрому инференсу на CPU
AI Engineer World's Fair 2024
Близко по содержанию
Запуск Gemma 4 на iPhone: 40 токенов/с с MLX
AI Engineer Europe 2026
Близко по содержанию


