← Каталог

· AI Engineer World's Fair 2025

Прокачка модели: RFT, DPO, SFT (fine-tuning с OpenAI)

Model-Maxxing: RFT, DPO, SFT (Fine-tuning with OpenAI) — Ilan Bigio, OpenAI

Fine-tuning окупается, когда промпт уже упёрся в потолок: SFT переносит качество большой модели в быструю, а RFT улучшает reasoning-модели на задачах с проверяемым ответом.

  • Порог данных для SFT — первые признаки работы появляются при 50–100 примерах, а для продакшена спикер советует 500 и больше.
  • Дистилляция в быструю модель — GPT-3.5 дообучили на синтетических данных, которые сгенерировали из 120 функций через GPT-4. По словам спикера, точность вызова функций отстаёт от GPT-4 примерно на 2%, а задержка заметно ниже.
  • Шум в данных убивает RFT — на задаче с однозначным ответом (число доноров и акцепторов водородных связей) o4-mini выросла примерно с 65% до 80%. Разметка субъективных писем дала слабый результат: шум в данных усиливается при обучении.
  • Ограничения RFT — работает только для reasoning-моделей и только в один ход, без вызовов функций между шагами. Доклад идёт по API OpenAI, поэтому раздел про ограничения полезнее всего.

Кому полезно: тем, кто решает, стоит ли дообучать модель под классификацию, структурированный вывод или вызов функций при жёстких требованиях к задержке.

Статья по теме

Главы

Ещё доклады: Ilan Bigio

Страница спикера →

Похожие доклады