← Каталог

· AI Engineer Europe 2026

От 46% до 90%: fine-tuning компактных LLM для on-device agents

From 46% to 90%: Fine-Tuning Tiny LLMs for On-Device Agents — Cormac Brick, Google

Дообучение крошечной FunctionGemma на синтетических данных, по словам автора, поднимает успешность вызова функций на устройстве с 46% до 90% и выше.

  • Дообучение вместо большой модели — модели размером 100–200 миллионов параметров справляются только с узкой задачей, поэтому датасет для вызова функций генерировали синтетически через Flash. По словам автора, восемь из десяти функций вышли за 90%, ещё две остались в 80-х.
  • Skills подгружаются по требованию — в промпт попадают только описания навыков, а полный навык загружается через tool call, когда он нужен. По словам авторов, модель на 4 миллиарда параметров надёжно выбирает из восьми навыков, но несколько навыков в одном ответе срабатывают нестабильно.
  • Встраивание модели в приложение — доклад во многом рассказ о стеке Google AI Edge. LiteRT-LM упаковывает модель в один файл со всем необходимым для запуска и работает на CPU, GPU и NPU.
  • Цепочка маленьких моделей — приложение Eloquent связывает распознавание речи и полировку текста, обе модели на Gemma 3 по несколько сотен миллионов параметров. Персональный словарь и удаление слов-паразитов работают офлайн.

Кому полезно: тем, кто хочет встроить агента в мобильное приложение без сервера и готов дообучать маленькую модель под свой набор функций.

Статья по теме

Главы

Ещё доклады: Cormac Brick

Страница спикера →

Похожие доклады