Что RL значит для агентов
What RL Means for Agents
Обучение агентов через reinforcement learning с наградами, которые пишет сам инженер, — вероятный следующий шаг после пайплайнов с жёсткой логикой.
- Длинные рассуждения как побочный эффект награды — в R1 цепочка рассуждений возникла сама: модель получала награду только за верный ответ, и стратегия выработалась без заранее написанных примеров на тысячи токенов.
- Rubric engineering — награду можно строить из баллов за формат, например за нужный XML-тег или целочисленный ответ. Спикер показал однофайловый пример на Llama 1B для математики, который разошёлся по сообществу; награду при этом нужно проверять на reward hacking.
- Среда вместо весов — экспериментальный open source фреймворк позволяет описать многошаговое взаимодействие как environment поверх существующих агентных фреймворков, а обучение берёт на себя trainer.
- Навыки против знаний — по словам спикера, промпт передаёт знания, а навык закрепляется пробами и ошибками. OpenAI, по его словам, обучала Deep Research end-to-end через RL с вызовами инструментов, но на задачах вне обучающего распределения модель справляется хуже.
Кому полезно: тем, у кого агент упёрся в потолок качества, и промпт-тюнинг больше не помогает.
Статья по теме
На какие вопросы отвечает доклад
Как научить модель навыку методом проб и ошибок, если промпт этого не даёт?
Промпт передаёт знания, но не навык. Модель получает навык через RL: она пробует решения, получает награду за результат и закрепляет успешные стратегии. Спикер считает это главным инструментом для более автономных агентов.
▶ 13:10Формирование функции вознаграждения, эксперименты с open source и будущее агентовКак обучать модель с подкреплением без ручной разметки данных?
Для каждого промпта модель генерирует несколько ответов, их оценивают по награде, например по прохождению тестов, и модель смещается к более успешным. Так работает GRPO из DeepSeek-R1, без курируемых человеком данных.
▶ 5:31DeepSeek-R1, возникающее reasoning и GRPOКак задать награду для RL, чтобы модель не обманывала метрику?
Награду строят по рубрике: баллы за правильный формат, например XML-теги, за целочисленный ответ и за верный результат. Спикер предупреждает о reward hacking и советует проверять, что награда действительно отражает цель.
▶ 13:10Формирование функции вознаграждения, эксперименты с open source и будущее агентовКак обучать агента, который делает десятки вызовов инструментов, сквозным RL?
По словам спикера, OpenAI Deep Research обучен сквозным RL и делает до сотни вызовов инструментов для поиска в интернете. На момент доклада fine-tuning с подкреплением у OpenAI не поддерживал многошаговые вызовы инструментов.
▶ 8:16Deep Research и обучение с подкреплением для использования инструментовПочему агент с RL хуже справляется с задачами вне своего обучающего распределения?
Спикер отмечает, что Deep Research плохо справляется с out-of-distribution задачами, например с заполнением таблицы из сотни ручных расчётов. RL даёт новые навыки, но не универсальную автономность.
▶ 8:16Deep Research и обучение с подкреплением для использования инструментовКак подключить существующие агентные окружения к RL-обучению без работы с весами модели?
Спикер показал открытый фреймворк для RL в многошаговых окружениях: описываешь среду и протокол взаимодействия, а тренер сам работает с весами и токенами. Так можно переиспользовать уже написанные agent-фреймворки.
▶ 13:10Формирование функции вознаграждения, эксперименты с open source и будущее агентов
Главы
Ещё доклады: Will Brown
Все 5 докладов →Обучение агентных рассуждателей
AI Engineer World's Fair 2025
Масштабирование сред для RL
AI Engineer Code 2025
Обучение с подкреплением без проверяемых наград
AI Engineer World's Fair 2026
Похожие доклады
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию
Таксономия моделей рассуждения следующего поколения
AI Engineer World's Fair 2025
Близко по содержанию

