TLMs: компактные LLM и агенты на edge-устройствах с LiteRT-LM
TLMs: Tiny LLMs and Agents on Edge Devices with LiteRT-LM
Tiny LLM на сотни миллионов параметров выводятся в продакшен мобильных приложений после fine-tuning на синтетических данных, а агентные skills на телефоне работают без дообучения.
- Память, а не скорость — на телефоне лимит задаёт RAM. По словам спикера, у Gemma 4 E2B в памяти постоянно лежат около 2 млрд параметров, а per-layer embeddings читаются memory-mapped построчно, поэтому полная модель в RAM не помещается.
- Skills без дообучения — в системный промпт попадает однострочное описание каждого skill, полная инструкция подгружается по запросу. Constrained decoding ограничивает вызов инструмента заранее заданным набором функций, и спикер считает, что это сильнее всего помогает маленьким моделям.
- Синтетика вместо разметки — большая облачная модель генерирует миллионы примеров, на них дообучают Gemma 3 270M и квантуют. По словам спикера, fine-tuning даёт прибавку 20–40 пунктов на тестовом наборе.
- Раздельные модели — в приложении Eloquent распознавание речи и полировка текста сделаны двумя отдельными моделями, что упрощает отладку и переиспользование весов.
Кому полезно: тем, кто выводит голосовых или локальных агентов в мобильные приложения и подбирает размер модели под телефон.
Статья по теме
Главы
Ещё доклады: Cormac Brick
Страница спикера →Зачем большие? Маленькие языковые модели и agents на периферийных устройствах и в робототехнике
AI Engineer World's Fair 2026
От 46% до 90%: fine-tuning компактных LLM для on-device agents
AI Engineer Europe 2026
Похожие доклады
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Близко по содержанию
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Близко по содержанию

