← Каталог

· AI Engineer Europe 2026

Хватит увеличивать модели — научите их работать как надо

Stop Making Models Bigger, Make Them Behave — Kobie Crawford, Snorkel

Четырёхмиллиардная модель, обученная через RL именно правильному использованию инструментов, по словам авторов обгоняет 235-миллиардную Qwen3 в финансовом анализе.

  • Поведение вместо размера — большая Qwen3 обращалась к несуществующей таблице без проверки схемы и выдумывала ответ, а дообученная модель сначала вызывает get_table_names и get_table_info, а после ошибки в имени колонки сама исправляет запрос.
  • Обучение на одной таблице — в абляции лучше всего сработали вопросы по одной таблице без смешивания с многотабличными; на сложном FinQA Reasoning доля верных ответов выросла с 13,9% до 26,6%.
  • Дешёвый RL — полный прогон GRPO в фреймворке rLLM (проект UC Berkeley) стоил меньше 500 долларов, а pass@1 по словам авторов примерно удвоился; датасет из 290 примеров проверяли эксперты.
  • Rubric для выбора данных — разбивка ответа на список проверяемых вопросов показывает, какое поведение чинить, а GRPO при этом получает один скалярный reward.

Кому полезно: тем, кто хочет дообучить небольшую модель для работы с инструментами на своём железе, например на финансовых или медицинских данных.

Статья по теме

На какие вопросы отвечает доклад

  • Почему агент пишет SQL к несуществующим таблицам и выдумывает ответ?

    Qwen3 на 235 млрд параметров писала запрос к несуществующей таблице без проверки схемы и после двух неудач придумывала ответ. Дообученная модель на 4 млрд сначала вызывает get_table_names и get_table_info, а ошибки в колонках исправляет сама.

    ▶ 7:08Сбой Qwen3 в финансовом анализе и экспертно подготовленные обучающие данные
  • Когда выгоднее дообучить маленькую модель с RL, чем брать большую для агента с инструментами?

    Названы стоимость, скорость, безопасность и развёртывание on-premise. RL, по словам спикера, лучше меняет поведение модели, чем её знания, поэтому модель на 4 млрд обогнала 235 млрд в работе с инструментами.

    ▶ 3:35Почему небольшим моделям нужно лучшее поведение при использовании инструментов
  • Как дообучить небольшую модель через GRPO для работы с инструментами и уложиться в $500?

    Модель на 4 млрд параметров обучали через GRPO во фреймворке rLLM на окружении FinQA с 290 примерами. По словам авторов, стоимость запуска была меньше $500, а pass@1 вырос примерно вдвое.

    ▶ 10:48GRPO, rLLM, FinQA и дисциплинированные SQL tool calls
  • Стоит ли обучать модель только на однотабличных примерах, если задачи требуют нескольких таблиц?

    Обучение только на однотабличных вопросах дало больший прирост, чем смешанный набор или curriculum learning. Прирост перенёсся и на многотабличные задачи: результат вырос с 13,9% до 26,6%.

    ▶ 10:48GRPO, rLLM, FinQA и дисциплинированные SQL tool calls
  • Как понять, какое поведение агента ломает ответ, если итоговая оценка только да или нет?

    Правильность ответа разбивают на список отдельных вопросов-рубрик, по которым видно, где именно ломается поведение. По рубрикам выбирают, какие датасеты собирать, а GRPO при этом получает одно итоговое значение.

    ▶ 17:33Результаты FinQA с несколькими таблицами и заключение

Главы

Ещё доклады: Kobie Crawford

Страница спикера →

Похожие доклады