От 46% до 90%: fine-tuning компактных LLM для on-device agents
From 46% to 90%: Fine-Tuning Tiny LLMs for On-Device Agents — Cormac Brick, Google
Дообучение крошечной FunctionGemma на синтетических данных, по словам автора, поднимает успешность вызова функций на устройстве с 46% до 90% и выше.
- Дообучение вместо большой модели — модели размером 100–200 миллионов параметров справляются только с узкой задачей, поэтому датасет для вызова функций генерировали синтетически через Flash. По словам автора, восемь из десяти функций вышли за 90%, ещё две остались в 80-х.
- Skills подгружаются по требованию — в промпт попадают только описания навыков, а полный навык загружается через tool call, когда он нужен. По словам авторов, модель на 4 миллиарда параметров надёжно выбирает из восьми навыков, но несколько навыков в одном ответе срабатывают нестабильно.
- Встраивание модели в приложение — доклад во многом рассказ о стеке Google AI Edge. LiteRT-LM упаковывает модель в один файл со всем необходимым для запуска и работает на CPU, GPU и NPU.
- Цепочка маленьких моделей — приложение Eloquent связывает распознавание речи и полировку текста, обе модели на Gemma 3 по несколько сотен миллионов параметров. Персональный словарь и удаление слов-паразитов работают офлайн.
Кому полезно: тем, кто хочет встроить агента в мобильное приложение без сервера и готов дообучать маленькую модель под свой набор функций.
Статья по теме
Главы
Ещё доклады: Cormac Brick
Страница спикера →Зачем большие? Маленькие языковые модели и agents на периферийных устройствах и в робототехнике
AI Engineer World's Fair 2026
TLMs: компактные LLM и агенты на edge-устройствах с LiteRT-LM
AI Engineer Europe 2026
Похожие доклады
Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Близко по содержанию
Компиляторы в эпоху LLM
AI Engineer Code 2025
Близко по содержанию

