← Каталог

· AI Engineer World's Fair 2026

Зачем большие? Маленькие языковые модели и agents на периферийных устройствах и в робототехнике

Why Large? Tiny LMs & Agents on Edge/Robotics

Дообученная на синтетических данных модель в несколько сотен миллионов параметров, по словам спикера, надёжно выполняет голосовые команды на дешёвых устройствах там, где большим моделям не хватает памяти и скорости.

  • Синтетические данные для дообучения — по словам автора, 10 тысяч–10 миллионов сгенерированных примеров достаточно, чтобы FunctionGemma (от 270 млн параметров) вызывала одну из 10 функций по произвольному тексту с надёжностью выше 86%.
  • Память Gemma 2B — веса текстовой версии занимают около 841 МБ при квантовании примерно до 2,9 бита на вес; с рантаймом и KV cache нужно около 2 ГБ, а с учётом ОС спикер советует закладывать 4 ГБ.
  • Скорость на бюджетном железе — по словам авторов, Gemma 2B выдаёт около 7,6 токена в секунду на Raspberry Pi и около 24 на Jetson Orin Nano; MTP ускоряет Raspberry Pi примерно вдвое.
  • Офлайн-диктовка в продакшене — приложение без подписки делает распознавание речи и полировку текста локально на двух дообученных моделях Gemma и убирает слова-паразиты.

Кому полезно: тем, кто выводит голосовое управление или вызов функций на IoT-устройства и робототехнику с ограниченной памятью.

Статья по теме

Главы

Ещё доклады: Cormac Brick

Страница спикера →

Похожие доклады