Не пытайтесь исправить проблемы поиска с помощью fine-tuning
AI Engineer Code 2025
Загружаем страницу…
Fine-tuning, post-training, обучение с подкреплением, дистилляция, данные и среды для обучения моделей и агентов.
Спикеры показывают, как обучить финансового агента меньше чем за 500 долларов, как банк обучил свою foundation model для поиска мошенничества и чему научила генерация 12 триллионов синтетических токенов. Есть доклады про reward hacking в агентах, GEPA как альтернативу RL и про то, почему fine-tuning не исправит проблемы поиска.
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
Fine-tuning меняет веса модели и учит её поведению: формату, стилю, навыку. RAG ничего не меняет в модели и подаёт ей нужные факты в момент запроса. Новые знания надёжнее давать через RAG, новое поведение через fine-tuning.
Модель решает задачи, получает награду за хороший результат и обновляет веса, чтобы получать её чаще. Агентам задачи ставят в средах, где результат можно проверить: прошли ли тесты, совпал ли ответ. Отсюда и главная проблема, reward hacking, когда модель находит способ получить награду без решения.
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025