· AI Engineer World's Fair 2025
Прокачка модели: RFT, DPO, SFT (fine-tuning с OpenAI)
Model-Maxxing: RFT, DPO, SFT (Fine-tuning with OpenAI) — Ilan Bigio, OpenAI
Fine-tuning окупается, когда промпт уже упёрся в потолок: SFT переносит качество большой модели в быструю, а RFT улучшает reasoning-модели на задачах с проверяемым ответом.
- Порог данных для SFT — первые признаки работы появляются при 50–100 примерах, а для продакшена спикер советует 500 и больше.
- Дистилляция в быструю модель — GPT-3.5 дообучили на синтетических данных, которые сгенерировали из 120 функций через GPT-4. По словам спикера, точность вызова функций отстаёт от GPT-4 примерно на 2%, а задержка заметно ниже.
- Шум в данных убивает RFT — на задаче с однозначным ответом (число доноров и акцепторов водородных связей) o4-mini выросла примерно с 65% до 80%. Разметка субъективных писем дала слабый результат: шум в данных усиливается при обучении.
- Ограничения RFT — работает только для reasoning-моделей и только в один ход, без вызовов функций между шагами. Доклад идёт по API OpenAI, поэтому раздел про ограничения полезнее всего.
Кому полезно: тем, кто решает, стоит ли дообучать модель под классификацию, структурированный вывод или вызов функций при жёстких требованиях к задержке.
Статья по теме
Главы
Ещё доклады: Ilan Bigio
Страница спикера →Для практических AI-агентов достаточно function calling
AI Engineer Summit 2025
Похожие доклады
Адаптация и fine-tuning LLM для специализированных областей
AI Engineer Summit 2023
Близко по содержанию
OpenThoughts: рецепты подготовки данных для reasoning-моделей
AI Engineer World's Fair 2025
Близко по содержанию
Масштабирование для задач с длинным горизонтом
AI Engineer World's Fair 2026
Близко по содержанию
Современный post-training: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию

