← Каталог

· AI Engineer Europe 2026

TLMs: компактные LLM и агенты на edge-устройствах с LiteRT-LM

TLMs: Tiny LLMs and Agents on Edge Devices with LiteRT-LM

Tiny LLM на сотни миллионов параметров выводятся в продакшен мобильных приложений после fine-tuning на синтетических данных, а агентные skills на телефоне работают без дообучения.

  • Память, а не скорость — на телефоне лимит задаёт RAM. По словам спикера, у Gemma 4 E2B в памяти постоянно лежат около 2 млрд параметров, а per-layer embeddings читаются memory-mapped построчно, поэтому полная модель в RAM не помещается.
  • Skills без дообучения — в системный промпт попадает однострочное описание каждого skill, полная инструкция подгружается по запросу. Constrained decoding ограничивает вызов инструмента заранее заданным набором функций, и спикер считает, что это сильнее всего помогает маленьким моделям.
  • Синтетика вместо разметки — большая облачная модель генерирует миллионы примеров, на них дообучают Gemma 3 270M и квантуют. По словам спикера, fine-tuning даёт прибавку 20–40 пунктов на тестовом наборе.
  • Раздельные модели — в приложении Eloquent распознавание речи и полировка текста сделаны двумя отдельными моделями, что упрощает отладку и переиспользование весов.

Кому полезно: тем, кто выводит голосовых или локальных агентов в мобильные приложения и подбирает размер модели под телефон.

Статья по теме

Главы

Ещё доклады: Cormac Brick

Страница спикера →

Похожие доклады