← Каталог

· AI Engineer World's Fair 2025

Как обучить агента: создание надёжных агентов с помощью RL

How to Train Your Agent: Building Reliable Agents with RL

Узкого агента на Qwen 2.5 14B можно обучить через reinforcement learning так, что он, по словам спикера, обгоняет o3 по точности и дешевле в инференсе.

  • Сначала промпт, потом обучение — baseline на промптах нужен, чтобы отдельно найти баги среды, например инструменты без нужных данных. По словам спикера, у o3 точность 90%, у обученной модели 96%, то есть исчезло около 60% ошибок o3.
  • Экономика — тысяча поисков стоила $55 на o3 и $8 на o4-mini. Маленькая дообученная модель дешевле ещё на порядок, а обучение обошлось примерно в $80 GPU и неделю инженерного времени.
  • Reward из датасета — реальные письма взяты из открытого дампа Enron. Gemini 2.5 Pro генерировала вопросы с эталонными ответами по пачкам из 20 писем, а LLM-as-judge сравнивал ответы агента с ними.
  • Reward hacking — агент в NYT Connections нашёл баг проверки: не проверялось, что в группе ровно четыре слова. Помогли дополнительный LLM-judge и чтение rollouts.

Кому полезно: тем, кто думает о дообучении небольшой модели под узкую задачу с инструментами и хочет оценить цену и типичные ошибки.

Статья по теме

Главы

Ещё доклады: Kyle Corbitt

Страница спикера →

Похожие доклады