← Все доклады

· AI Engineer Code 2026

Что где запускать: локальный AI в продакшене

What Runs Where? Local AI in Production — Ahmad Osman, Osmantic

Маленькая модель, обученная на собственных трассах агентов, может заменить frontier-модель в узкой задаче при около 1% стоимости, по словам автора.

  • Prefill и decode упираются в разное — prefill ограничен вычислениями, decode пропускной способностью памяти, поэтому длинный промпт и короткий ответ требуют разного железа. Dense-модель 27B на DGX Spark работает медленнее MoE, потому что на каждый токен задействуются все параметры.
  • Квантизация неодинакова — динамическая квантизация оставляет часто используемые слои в высокой точности, а редко используемые сжимает сильнее. Равномерное сжатие до 4 бит может заметно испортить модель.
  • Локальному агенту нужен поиск — модель, обученная до выхода инструмента, его не знает. По словам автора, подключение поисковика позволило локальной модели выполнить задачу, с которой она без него не справлялась.
  • Аренда GPU выгоднее покупки при небольшой нагрузке — дешёвые провайдеры могут подменять заявленную модель другой, поэтому их стоит проверять перед использованием.

Кому полезно: тем, кто выбирает железо под локальные агенты и решает, брать ли маленькую специализированную модель под узкую задачу.

На какие вопросы отвечает доклад

  • Чем отличаются узкие места prefill и decode при выборе железа для локальных моделей?

    Prefill упирается в вычисления, decode в пропускную способность памяти, поэтому длинный промпт задерживает первый токен. Спикер советует выбирать железо под свой сценарий, а не брать любое, и не ставить dense-модель на DGX Spark там, где выгоднее MoE.

    ▶ 18:56Prefill, decode и выбор железа
  • Почему одинаковая 4-битная квантизация по-разному бьёт по качеству разных моделей?

    Методы квантизации сильно различаются: динамическая квантизация по результатам бенчмарков оставляет часто используемые слои в большей точности, а редко используемые сжимает сильнее. Равномерное сжатие до 4 бит может испортить модель.

    ▶ 15:57Квантизация и качество моделей
  • Когда выгоднее арендовать GPU, а не покупать домашнее железо?

    Ниже определённого порога использования аренда выгоднее покупки. Дешёвые провайдеры могут тайно гнать запросы на другие модели, поэтому инфраструктуру нужно проверять. Собственное железо требует обслуживания и может молча ломаться.

    ▶ 39:26Аренда GPU, стоимость и операционные компромиссы
  • Как заменить дорогую frontier-модель маленькой специализированной моделью на трейсах своих агентов?

    Нужны трейсы агентов на frontier-модели, пайплайн оценки и синтетические данные, после этого можно обучать маленькую модель через fine-tuning или RL. Спикер приводит пример Airbnb, где 2-миллиардная модель, по его словам, дала качество frontier-модели примерно за 1% стоимости.

    ▶ 36:13Выбор специализированных моделей по трассировкам реальных задач
  • Почему локальная модель не может выполнить задачу с инструментом, который вышел после её обучения?

    Модель знает только данные обучения, поэтому не знает новых инструментов. Спикер открыл доступ к поиску для агента, и тот смог сам найти нужные данные и изменить подсветку вентиляторов. Поиск нужно подключать по умолчанию.

    ▶ 32:56Зачем локальным агентам поиск и полноценный harness
  • Какой inference engine выбрать под конкретную модель и чип и что измерять на своём железе?

    Спикер считает, что нужен отдельный inference engine под каждую пару модель и чип. Измерять советует time to first token, скорость генерации на пользователя и request per second на своём железе, а не верить опубликованным цифрам.

    ▶ 23:15Пакетная обработка и inference-движки под каждый чип
  • Зачем учить модель локально под себя, если облако предлагает память и markdown-файлы?

    Крупные провайдеры не будут обучать модель под каждого клиента, а markdown-файлы с памятью со временем раздуваются и перестают работать. По мнению спикера, continual learning возможен только локально, с обновлением весов под данные пользователя.

    ▶ 48:07Зачем continual learning нужен локальный AI

Главы

Ещё доклады: Ahmad Osman

Страница спикера →