← Каталог

· AI Engineer World's Fair 2025

Практикум по fine-tuning MCP-агента

MCP Agent Fine-Tuning Workshop - Ronan McGovern

Чистые трассы многоходовой работы агента с MCP-инструментами, собранные на Qwen3-30B, пригодны для SFT меньшей модели до обучения с подкреплением.

  • Разворачивание трасс — каждый ход многоходовой сессии становится отдельной строкой обучающих данных: по словам спикера, четыре удачные трассы дали девять примеров.
  • Формат Hermes — Qwen выводит вызовы инструментов в формате Hermes, а парсер вызовов в vLLM переводит их в JSON для OpenAI-совместимого API.
  • Очистка шумных трасс — неудачные ходы правятся вручную или через системный промпт, который затем не попадает в обучающие данные.
  • Предел эксперимента — дообучение 4B-модели на девяти трассах с LoRA дало шумную кривую функции потерь, а проверка шла одним запросом без отдельного набора для оценки. Спикер прямо говорит, что многошаговые задачи 4B-модель будет решать плохо.

Кому полезно: тем, кто хочет дообучить небольшую open source модель под агентов с MCP-инструментами, имея всего несколько десятков собственных трасс.

Статья по теме

На какие вопросы отвечает доклад

  • Как собрать обучающие трассы для дообучения агента с инструментами MCP?

    Логировать список инструментов и полную историю сообщений каждого запуска, отобрать удачные и при шуме вручную поправить трассу. Системный промпт можно использовать для генерации, но в обучающие данные его не включают.

    ▶ 5:38Сбор трассировок reasoning агентов Qwen и browser-use
  • Зачем разворачивать многоходовые диалоги в отдельные строки перед обучением?

    Шаблон Qwen подставляет reasoning только из последнего хода, поэтому диалог из трёх ходов превращается в три строки, и обучаться можно на каждом ходе.

    ▶ 18:59Подготовка набора данных, экспорт в Hub и оценка tool calling
  • Как подключить MCP-сервер к модели через OpenAI-совместимый API?

    Описания инструментов MCP конвертируются в JSON-список для OpenAI API, результаты вызовов упаковываются в формат, который ждёт модель, а вызовы распознаются в её тексте.

    ▶ 0:56MCP-серверы, browser tools и OpenAI-совместимые конечные точки
  • Как заставить Qwen выдавать вызовы инструментов в JSON, который понимает API?

    В vLLM задаётся парсер Hermes, который извлекает вызов из текста и переводит его в JSON; reasoning parser отделяет think-токены в отдельное поле.

    ▶ 5:38Сбор трассировок reasoning агентов Qwen и browser-use
  • Стоит ли начинать с reinforcement learning, если размеченных трасс агента ещё нет?

    По словам спикера, нет: без supervised fine-tuning на качественных трассах модель редко получает положительную награду, и обучение идёт медленно. Сначала собирают хорошие трассы и дообучают на них.

    ▶ 18:59Подготовка набора данных, экспорт в Hub и оценка tool calling
  • Сколько трасс нужно, чтобы дообучить маленькую модель лучше вызывать инструменты?

    Спикер обучал Qwen3 4B на девяти трассах через LoRA ранга 32 и ожидает заметного прироста на узких сценариях при 50–100 трассах. Для надёжной оценки он советует отложить часть данных в eval-набор.

    ▶ 18:59Подготовка набора данных, экспорт в Hub и оценка tool calling

Главы

Ещё доклады: Ronan McGovern

Страница спикера →

Похожие доклады