· AI Engineer World's Fair 2024
Практикум по оптимизации качества LLM
LLM Quality Optimization Bootcamp
Небольшая Llama 3 8B, дообученная под редактирование персональных данных, по словам авторов, точнее GPT-4 и примерно в 200 раз дешевле.
- Когда дообучать — fine-tuning стоит пробовать после prompt engineering и RAG, если задача узкая, например классификация, извлечение данных или function calling, и есть свой качественный датасет.
- Датасет в формате логов — авторы взяли открытый PII Masking 200K и собрали 10 тысяч примеров: системный промпт, описание инструмента и tool call в качестве ответа. Модель учится на том же формате, который будет в продакшене.
- LoRA вместо checkpoint — LoRA весит около 50 МБ против 15 ГБ у полного checkpoint, и такие адаптеры можно обслуживать на общем endpoint, что снижает стоимость инференса.
- Цифры из теста — на 100 тестовых примерах дообученная модель набрала 0,97 по метрике со штрафами за пропущенные и лишние PII, против 0,68 у GPT-4. По словам авторов, GPT-4 стоит до 30 долларов за миллион токенов, а Llama 3 8B на OctoAI около 15 центов.
Кому полезно: тем, кто делает function calling или классификацию на LLM и упирается в стоимость GPT-4. Воркшоп ведёт OctoAI, поэтому часть про платформу продуктовая.
Статья по теме
Главы
Похожие доклады
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Близко по содержанию
Кривая зрелости GenAI (или: вам, вероятно, не нужен fine-tuning)
AI Engineer World's Fair 2024
Близко по содержанию
TLMs: компактные LLM и агенты на edge-устройствах с LiteRT-LM
AI Engineer Europe 2026
Близко по содержанию
Обучение Albatross: экспертной языковой модели для финансов
AI Engineer World's Fair 2024
Близко по содержанию


