← Каталог

· AI Engineer World's Fair 2024

Практикум по оптимизации качества LLM

LLM Quality Optimization Bootcamp

Небольшая Llama 3 8B, дообученная под редактирование персональных данных, по словам авторов, точнее GPT-4 и примерно в 200 раз дешевле.

  • Когда дообучать — fine-tuning стоит пробовать после prompt engineering и RAG, если задача узкая, например классификация, извлечение данных или function calling, и есть свой качественный датасет.
  • Датасет в формате логов — авторы взяли открытый PII Masking 200K и собрали 10 тысяч примеров: системный промпт, описание инструмента и tool call в качестве ответа. Модель учится на том же формате, который будет в продакшене.
  • LoRA вместо checkpoint — LoRA весит около 50 МБ против 15 ГБ у полного checkpoint, и такие адаптеры можно обслуживать на общем endpoint, что снижает стоимость инференса.
  • Цифры из теста — на 100 тестовых примерах дообученная модель набрала 0,97 по метрике со штрафами за пропущенные и лишние PII, против 0,68 у GPT-4. По словам авторов, GPT-4 стоит до 30 долларов за миллион токенов, а Llama 3 8B на OctoAI около 15 центов.

Кому полезно: тем, кто делает function calling или классификацию на LLM и упирается в стоимость GPT-4. Воркшоп ведёт OctoAI, поэтому часть про платформу продуктовая.

Статья по теме

Главы

Похожие доклады