← Каталог

· AI Engineer World's Fair 2026

Состояние дел: почему локальный ИИ и почему именно сейчас

State of the Union: Why Local, Why Now

Ahmad Osman, Alex Cheema и ещё 3 спикераВсе 5Свернуть

Локальный AI подходит к точке перелома, и работать он начинает за счёт связки: маленькие специализированные модели, маршрутизация между моделями и тюнинг под настольное железо.

  • Тюнинг под DGX Spark — по словам Alex Cheema, за три недели работы с инженерами NVIDIA удалось получить 10X по сравнению с прежней схемой NVIDIA на Hermes Agent. Железо то же, что в дата-центре, поэтому выигрыш дали настройки конфигурации и квантизация, а не новые алгоритмы.
  • Маршрутизация моделей — топовая модель строит план, а дешёвая локальная выполняет подзадачи. По словам Matthew Berman, так можно держать расходы ровными при росте числа токенов.
  • Дистилляция в узкую модель — Joseph Nelson описывает цепочку: крупные модели вроде SAM 3 размечают данные, LLM-as-a-judge отбирает совпадения, и на этом датасете обучается легкая модель с фиксированным списком классов, например DETR. Дообучать саму SAM 3 не стоит, так теряется открытый словарь.
  • Трейсы как данные — Ahmad Osman советует собирать трейсы работы сотрудников с агентами с первого дня, чтобы понимать, какой модели какой сценарий отдавать. Обновление весов локально он считает следующим шагом вместо файлов памяти в markdown.

Кому полезно: тем, кто переводит часть токенов с облачных моделей на self-hosted стек и думает, как собрать для этого данные и маршрутизацию.

Доклад цитируется в статьях

Главы

Ещё доклады: Ahmad Osman

Страница спикера →

Ещё доклады: Alex Cheema

Страница спикера →

Похожие доклады