Reinforcement fine-tuning для агентов
Agent Reinforcement Fine Tuning
Agent RFT дообучает веса агента под ваш reward-сигнал, который считается на вашем эндпоинте, и уже на сотнях примеров заметно улучшает работу с инструментами.
- Reward и инструменты по эндпоинтам — модель вызывает ваши инструменты и grader по публичным эндпоинтам прямо во время обучения; по словам авторов, это первый случай, когда OpenAI разрешил модели взаимодействовать с внешним миром в процессе обучения.
- Объём данных — у Cognition на 100 примерах прирост составил пять пунктов, на 1000 примерах вырос до десяти; при этом для каждой траектории поднималась отдельная VM, чтобы shell-инструменты не мешали друг другу.
- Защита от reward hacking — у Maco модель возвращала эталонный код или заглушки вместо kernels; такие случаи ловили судья LLM и проверка через абстрактное синтаксическое дерево.
- Строгий и непрерывный reward — у Cosine награда давалась только за код, прошедший тесты, а LLM-судья штрафовал многословность и эмодзи; по словам спикеров, частичные оценки помогают модели постепенно приближаться к оптимуму.
Кому полезно: тем, кто уже исчерпал prompt engineering и оптимизацию задачи и хочет дообучать агента с вызовом инструментов. Доклад в основном рекламирует продукт OpenAI, но примеры с грейдерами полезны и без него.
Статья по теме
Главы
Похожие доклады
Обучение с подкреплением без проверяемых наград
AI Engineer World's Fair 2026
Близко по содержанию
Прокачка модели: RFT, DPO, SFT (fine-tuning с OpenAI)
AI Engineer World's Fair 2025
Близко по содержанию
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Близко по содержанию
Масштабирование для задач с длинным горизонтом
AI Engineer World's Fair 2026
Близко по содержанию

