· AI Engineer World's Fair 2026
Зачем большие? Маленькие языковые модели и agents на периферийных устройствах и в робототехнике
Why Large? Tiny LMs & Agents on Edge/Robotics
Дообученная на синтетических данных модель в несколько сотен миллионов параметров, по словам спикера, надёжно выполняет голосовые команды на дешёвых устройствах там, где большим моделям не хватает памяти и скорости.
- Синтетические данные для дообучения — по словам автора, 10 тысяч–10 миллионов сгенерированных примеров достаточно, чтобы FunctionGemma (от 270 млн параметров) вызывала одну из 10 функций по произвольному тексту с надёжностью выше 86%.
- Память Gemma 2B — веса текстовой версии занимают около 841 МБ при квантовании примерно до 2,9 бита на вес; с рантаймом и KV cache нужно около 2 ГБ, а с учётом ОС спикер советует закладывать 4 ГБ.
- Скорость на бюджетном железе — по словам авторов, Gemma 2B выдаёт около 7,6 токена в секунду на Raspberry Pi и около 24 на Jetson Orin Nano; MTP ускоряет Raspberry Pi примерно вдвое.
- Офлайн-диктовка в продакшене — приложение без подписки делает распознавание речи и полировку текста локально на двух дообученных моделях Gemma и убирает слова-паразиты.
Кому полезно: тем, кто выводит голосовое управление или вызов функций на IoT-устройства и робототехнику с ограниченной памятью.
Статья по теме
Главы
Ещё доклады: Cormac Brick
Страница спикера →TLMs: компактные LLM и агенты на edge-устройствах с LiteRT-LM
AI Engineer Europe 2026
От 46% до 90%: fine-tuning компактных LLM для on-device agents
AI Engineer Europe 2026
Похожие доклады
Reachy Mini: open source-робот за $300, который можно по-настоящему модифицировать
AI Engineer Europe 2026
Близко по содержанию
Разработка голосовых агентов: задержка, качество и масштабирование
AI Engineer Europe 2026
Близко по содержанию

