← Каталог

· AI Engineer World's Fair 2026

Результаты frontier-уровня на устройстве

Frontier results, on device - RL Nabors, Arize

Узкую задачу можно отдать локальной Llama 3.2 3B: с few-shot промптом и постобработкой она, по словам автора, догоняет Claude Sonnet по качеству.

  • Проверка на большой модели — сначала задачу решают самой крупной моделью, чтобы понять, достижима ли она вообще. Затем собирают golden dataset (в примере 14 тредов и 28 примеров) и идут от малых моделей к большим, выбирая самую маленькую, которая проходит порог.
  • Few-shot вместо правил — из пяти вариантов промпта лучше всех сработал few-shot с примерами: точнее держались длина и ссылки, а задержка выросла примерно на 200 миллисекунд. Явные запреты, по наблюдению автора, ухудшили результат.
  • Проверки в коде — количество ссылок и обрезку длины вынесли из модели в постобработку. По словам автора, это дало 100% валидного JSON и структурной корректности.
  • Судья может быть строже нужного — разрыв по фактической согласованности автор объясняет тем, что Claude Opus как судья придирался к формулировкам. Поэтому он советует открывать эксперименты в Phoenix и смотреть сырые ответы.

Кому полезно: тем, кто гоняет облачную модель на узкой задаче вроде саммари и хочет перевести её на устройство или self-hosted модель без потери качества.

Статья по теме

На какие вопросы отвечает доклад

Главы

Ещё доклады: Rachel Lee Nabors (RL Nabors)

Страница спикера →

Похожие доклады