← Каталог

· AI Engineer Code 2025

Reinforcement fine-tuning для агентов

Agent Reinforcement Fine Tuning

Agent RFT дообучает веса агента под ваш reward-сигнал, который считается на вашем эндпоинте, и уже на сотнях примеров заметно улучшает работу с инструментами.

  • Reward и инструменты по эндпоинтам — модель вызывает ваши инструменты и grader по публичным эндпоинтам прямо во время обучения; по словам авторов, это первый случай, когда OpenAI разрешил модели взаимодействовать с внешним миром в процессе обучения.
  • Объём данных — у Cognition на 100 примерах прирост составил пять пунктов, на 1000 примерах вырос до десяти; при этом для каждой траектории поднималась отдельная VM, чтобы shell-инструменты не мешали друг другу.
  • Защита от reward hacking — у Maco модель возвращала эталонный код или заглушки вместо kernels; такие случаи ловили судья LLM и проверка через абстрактное синтаксическое дерево.
  • Строгий и непрерывный reward — у Cosine награда давалась только за код, прошедший тесты, а LLM-судья штрафовал многословность и эмодзи; по словам спикеров, частичные оценки помогают модели постепенно приближаться к оптимуму.

Кому полезно: тем, кто уже исчерпал prompt engineering и оптимизацию задачи и хочет дообучать агента с вызовом инструментов. Доклад в основном рекламирует продукт OpenAI, но примеры с грейдерами полезны и без него.

Статья по теме

Главы

Похожие доклады