15:47От harness к RSI Flywheel: практика TokenRhythm по замкнутой эволюции agents
Apsara Conference 2026 · 云栖大会
Загружаем страницу…
Fine-tuning, post-training, обучение с подкреплением, дистилляция, данные и среды для обучения моделей и агентов.
Спикеры показывают, как обучить финансового агента меньше чем за 500 долларов, как банк обучил свою foundation model для поиска мошенничества и чему научила генерация 12 триллионов синтетических токенов. Есть доклады про reward hacking в агентах, GEPA как альтернативу RL и про то, почему fine-tuning не исправит проблемы поиска.
15:47Apsara Conference 2026 · 云栖大会
21:01Apsara Conference 2026 · 云栖大会
Fine-tuning меняет веса модели и учит её поведению: формату, стилю, навыку. RAG ничего не меняет в модели и подаёт ей нужные факты в момент запроса. Новые знания надёжнее давать через RAG, новое поведение через fine-tuning.
Модель решает задачи, получает награду за хороший результат и обновляет веса, чтобы получать её чаще. Агентам задачи ставят в средах, где результат можно проверить: прошли ли тесты, совпал ли ответ. Отсюда и главная проблема, reward hacking, когда модель находит способ получить награду без решения.