Как устроены большие языковые модели Mistral AI
Devendra Chaplot, Devendra Singh Chaplot
AI Engineer World's Fair 2024
Загружаем страницу…
Fine-tuning, post-training, обучение с подкреплением, дистилляция, данные и среды для обучения моделей и агентов.
Спикеры показывают, как обучить финансового агента меньше чем за 500 долларов, как банк обучил свою foundation model для поиска мошенничества и чему научила генерация 12 триллионов синтетических токенов. Есть доклады про reward hacking в агентах, GEPA как альтернативу RL и про то, почему fine-tuning не исправит проблемы поиска.
Devendra Chaplot, Devendra Singh Chaplot
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Fine-tuning меняет веса модели и учит её поведению: формату, стилю, навыку. RAG ничего не меняет в модели и подаёт ей нужные факты в момент запроса. Новые знания надёжнее давать через RAG, новое поведение через fine-tuning.
Модель решает задачи, получает награду за хороший результат и обновляет веса, чтобы получать её чаще. Агентам задачи ставят в средах, где результат можно проверить: прошли ли тесты, совпал ли ответ. Отсюда и главная проблема, reward hacking, когда модель находит способ получить награду без решения.
AI Engineer World's Fair 2024
Pedro Torruella, Thierry Moreau
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024