← Каталог

· AI Engineer Summit 2025

Что RL значит для агентов

What RL Means for Agents

Обучение агентов через reinforcement learning с наградами, которые пишет сам инженер, — вероятный следующий шаг после пайплайнов с жёсткой логикой.

  • Длинные рассуждения как побочный эффект награды — в R1 цепочка рассуждений возникла сама: модель получала награду только за верный ответ, и стратегия выработалась без заранее написанных примеров на тысячи токенов.
  • Rubric engineering — награду можно строить из баллов за формат, например за нужный XML-тег или целочисленный ответ. Спикер показал однофайловый пример на Llama 1B для математики, который разошёлся по сообществу; награду при этом нужно проверять на reward hacking.
  • Среда вместо весов — экспериментальный open source фреймворк позволяет описать многошаговое взаимодействие как environment поверх существующих агентных фреймворков, а обучение берёт на себя trainer.
  • Навыки против знаний — по словам спикера, промпт передаёт знания, а навык закрепляется пробами и ошибками. OpenAI, по его словам, обучала Deep Research end-to-end через RL с вызовами инструментов, но на задачах вне обучающего распределения модель справляется хуже.

Кому полезно: тем, у кого агент упёрся в потолок качества, и промпт-тюнинг больше не помогает.

Статья по теме

На какие вопросы отвечает доклад

Главы

Ещё доклады: Will Brown

Все 5 докладов →

Похожие доклады