· AI Engineer World's Fair 2026
Состояние дел: почему локальный ИИ и почему именно сейчас
State of the Union: Why Local, Why Now
Ahmad Osman, Alex Cheema и ещё 3 спикераВсе 5Свернуть
Локальный AI подходит к точке перелома, и работать он начинает за счёт связки: маленькие специализированные модели, маршрутизация между моделями и тюнинг под настольное железо.
- Тюнинг под DGX Spark — по словам Alex Cheema, за три недели работы с инженерами NVIDIA удалось получить 10X по сравнению с прежней схемой NVIDIA на Hermes Agent. Железо то же, что в дата-центре, поэтому выигрыш дали настройки конфигурации и квантизация, а не новые алгоритмы.
- Маршрутизация моделей — топовая модель строит план, а дешёвая локальная выполняет подзадачи. По словам Matthew Berman, так можно держать расходы ровными при росте числа токенов.
- Дистилляция в узкую модель — Joseph Nelson описывает цепочку: крупные модели вроде SAM 3 размечают данные, LLM-as-a-judge отбирает совпадения, и на этом датасете обучается легкая модель с фиксированным списком классов, например DETR. Дообучать саму SAM 3 не стоит, так теряется открытый словарь.
- Трейсы как данные — Ahmad Osman советует собирать трейсы работы сотрудников с агентами с первого дня, чтобы понимать, какой модели какой сценарий отдавать. Обновление весов локально он считает следующим шагом вместо файлов памяти в markdown.
Кому полезно: тем, кто переводит часть токенов с облачных моделей на self-hosted стек и думает, как собрать для этого данные и маршрутизацию.
Доклад цитируется в статьях
Главы
Ещё доклады: Ahmad Osman
Страница спикера →Фронтир ИИ на настольных компьютерах
AI Engineer World's Fair 2026
Ещё доклады: Alex Cheema
Страница спикера →Frontier AI у вас дома (буквально)
AI Engineer Europe 2026
Похожие доклады
Современное состояние маршрутизации моделей
Alex Atallah, Carter Abdallah, Nader Khalil, Tanay Varshney, Walden Yan
AI Engineer World's Fair 2026
Тот же спикер: Nader Khalil
Что делает открытые модели быстрыми в production
AI Engineer Code 2025
Близко по содержанию





