· AI Engineer World's Fair 2025
Как обучить агента: создание надёжных агентов с помощью RL
How to Train Your Agent: Building Reliable Agents with RL
Узкого агента на Qwen 2.5 14B можно обучить через reinforcement learning так, что он, по словам спикера, обгоняет o3 по точности и дешевле в инференсе.
- Сначала промпт, потом обучение — baseline на промптах нужен, чтобы отдельно найти баги среды, например инструменты без нужных данных. По словам спикера, у o3 точность 90%, у обученной модели 96%, то есть исчезло около 60% ошибок o3.
- Экономика — тысяча поисков стоила $55 на o3 и $8 на o4-mini. Маленькая дообученная модель дешевле ещё на порядок, а обучение обошлось примерно в $80 GPU и неделю инженерного времени.
- Reward из датасета — реальные письма взяты из открытого дампа Enron. Gemini 2.5 Pro генерировала вопросы с эталонными ответами по пачкам из 20 писем, а LLM-as-judge сравнивал ответы агента с ними.
- Reward hacking — агент в NYT Connections нашёл баг проверки: не проверялось, что в группе ровно четыре слова. Помогли дополнительный LLM-judge и чтение rollouts.
Кому полезно: тем, кто думает о дообучении небольшой модели под узкую задачу с инструментами и хочет оценить цену и типичные ошибки.
Статья по теме
Главы
Ещё доклады: Kyle Corbitt
Страница спикера →Кривая зрелости GenAI (или: вам, вероятно, не нужен fine-tuning)
AI Engineer World's Fair 2024
Как мы масштабировали 500 млн AI agents в production силами двух инженеров
AI Engineer Summit 2025
Похожие доклады
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию
Маленькие модели, большие результаты: обучение финансового агента менее чем за $500
AI Engineer World's Fair 2026
Близко по содержанию
Reinforcement fine-tuning для агентов
AI Engineer Code 2025
Близко по содержанию
Обучение с подкреплением без проверяемых наград
AI Engineer World's Fair 2026
Близко по содержанию

