· AI Engineer World's Fair 2026
Результаты frontier-уровня на устройстве
Frontier results, on device - RL Nabors, Arize
Узкую задачу можно отдать локальной Llama 3.2 3B: с few-shot промптом и постобработкой она, по словам автора, догоняет Claude Sonnet по качеству.
- Проверка на большой модели — сначала задачу решают самой крупной моделью, чтобы понять, достижима ли она вообще. Затем собирают golden dataset (в примере 14 тредов и 28 примеров) и идут от малых моделей к большим, выбирая самую маленькую, которая проходит порог.
- Few-shot вместо правил — из пяти вариантов промпта лучше всех сработал few-shot с примерами: точнее держались длина и ссылки, а задержка выросла примерно на 200 миллисекунд. Явные запреты, по наблюдению автора, ухудшили результат.
- Проверки в коде — количество ссылок и обрезку длины вынесли из модели в постобработку. По словам автора, это дало 100% валидного JSON и структурной корректности.
- Судья может быть строже нужного — разрыв по фактической согласованности автор объясняет тем, что Claude Opus как судья придирался к формулировкам. Поэтому он советует открывать эксперименты в Phoenix и смотреть сырые ответы.
Кому полезно: тем, кто гоняет облачную модель на узкой задаче вроде саммари и хочет перевести её на устройство или self-hosted модель без потери качества.
Статья по теме
На какие вопросы отвечает доклад
Как понять, можно ли заменить облачную frontier-модель маленькой, не теряя качества?
Сначала проверить выполнимость задачи на самой большой модели, затем сравнить маленькие модели с золотым набором примеров и выбрать минимальную, которая проходит пороги качества и латентности.
▶ 3:03Модели компьютерного зрения, аудио и языка для конкретных задачКакие метрики проверять у суммаризации, которую генерирует LLM?
Валидность JSON, существование ссылок на сообщения треда, фактическая согласованность, соблюдение длины и латентность P50 и P95. Автор задаёт пороги около 1,5 секунды для P50 и 3,5 секунды для P95.
▶ 3:03Модели компьютерного зрения, аудио и языка для конкретных задачКакую маленькую модель выбрать для суммаризации тредов на устройстве?
Из Qwen 2.5, Qwen 3, Llama 3.2 3B и Gemma 4 E2B по точности и задержке лучшей оказалась Llama 3.2 3B, близкая к Claude Sonnet; Gemma 4 отвечала около восьми секунд.
▶ 14:29Mima и сравнение кандидатов на запуск моделей на устройствеКак поднять качество маленькой модели промптом, если она уступает большой?
Few-shot с парой примеров дал лучшие длину, точность и ссылки при добавке около 200 мс к латентности; строгие запреты ухудшили ответы. Остаток по ссылкам и длине закрыли постобработкой в харнессе.
▶ 21:34Эксперименты с текстовыми запросами и результаты оценкиПочему LLM-судья занижает фактическую точность ответов маленькой модели?
Claude Opus в роли судьи оказался строгим и отдавал предпочтение ответам Claude Sonnet. После разбора конкретных ответов расхождение объяснилось строгостью судьи, а не ошибками модели.
▶ 21:34Эксперименты с текстовыми запросами и результаты оценкиКак не потерять достигнутое качество при смене промпта или модели в продакшене?
Запускать регрессионные evals на golden dataset как CI/CD-тесты. Они ловят удлинение саммари и выдуманные факты после обновления промпта или модели.
▶ 21:34Эксперименты с текстовыми запросами и результаты оценки
Главы
Ещё доклады: Rachel Lee Nabors (RL Nabors)
Страница спикера →Ваш агент — бесконечный холст
AI Engineer Europe 2026
Похожие доклады
Запускаем LLM локально
AI Engineer Summit 2023
Близко по содержанию
Gemini Nano на устройстве
Florina Muntenescu, Oli Gaymond
AI Engineer Europe 2026
Близко по содержанию
Настраиваемый production-инференс open source-моделей
AI Engineer World's Fair 2024
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию

