Хватит увеличивать модели — научите их работать как надо
Stop Making Models Bigger, Make Them Behave — Kobie Crawford, Snorkel
Четырёхмиллиардная модель, обученная через RL именно правильному использованию инструментов, по словам авторов обгоняет 235-миллиардную Qwen3 в финансовом анализе.
- Поведение вместо размера — большая Qwen3 обращалась к несуществующей таблице без проверки схемы и выдумывала ответ, а дообученная модель сначала вызывает
get_table_namesиget_table_info, а после ошибки в имени колонки сама исправляет запрос. - Обучение на одной таблице — в абляции лучше всего сработали вопросы по одной таблице без смешивания с многотабличными; на сложном FinQA Reasoning доля верных ответов выросла с 13,9% до 26,6%.
- Дешёвый RL — полный прогон GRPO в фреймворке rLLM (проект UC Berkeley) стоил меньше 500 долларов, а pass@1 по словам авторов примерно удвоился; датасет из 290 примеров проверяли эксперты.
- Rubric для выбора данных — разбивка ответа на список проверяемых вопросов показывает, какое поведение чинить, а GRPO при этом получает один скалярный reward.
Кому полезно: тем, кто хочет дообучить небольшую модель для работы с инструментами на своём железе, например на финансовых или медицинских данных.
Статья по теме
На какие вопросы отвечает доклад
Почему агент пишет SQL к несуществующим таблицам и выдумывает ответ?
Qwen3 на 235 млрд параметров писала запрос к несуществующей таблице без проверки схемы и после двух неудач придумывала ответ. Дообученная модель на 4 млрд сначала вызывает get_table_names и get_table_info, а ошибки в колонках исправляет сама.
▶ 7:08Сбой Qwen3 в финансовом анализе и экспертно подготовленные обучающие данныеКогда выгоднее дообучить маленькую модель с RL, чем брать большую для агента с инструментами?
Названы стоимость, скорость, безопасность и развёртывание on-premise. RL, по словам спикера, лучше меняет поведение модели, чем её знания, поэтому модель на 4 млрд обогнала 235 млрд в работе с инструментами.
▶ 3:35Почему небольшим моделям нужно лучшее поведение при использовании инструментовКак дообучить небольшую модель через GRPO для работы с инструментами и уложиться в $500?
Модель на 4 млрд параметров обучали через GRPO во фреймворке rLLM на окружении FinQA с 290 примерами. По словам авторов, стоимость запуска была меньше $500, а pass@1 вырос примерно вдвое.
▶ 10:48GRPO, rLLM, FinQA и дисциплинированные SQL tool callsСтоит ли обучать модель только на однотабличных примерах, если задачи требуют нескольких таблиц?
Обучение только на однотабличных вопросах дало больший прирост, чем смешанный набор или curriculum learning. Прирост перенёсся и на многотабличные задачи: результат вырос с 13,9% до 26,6%.
▶ 10:48GRPO, rLLM, FinQA и дисциплинированные SQL tool callsКак понять, какое поведение агента ломает ответ, если итоговая оценка только да или нет?
Правильность ответа разбивают на список отдельных вопросов-рубрик, по которым видно, где именно ломается поведение. По рубрикам выбирают, какие датасеты собирать, а GRPO при этом получает одно итоговое значение.
▶ 17:33Результаты FinQA с несколькими таблицами и заключение
Главы
Ещё доклады: Kobie Crawford
Страница спикера →Законы масштабирования точности постановки задач
AI Engineer Europe 2026
Похожие доклады
Обучение Albatross: экспертной языковой модели для финансов
AI Engineer World's Fair 2024
Близко по содержанию
Рекурсивное улучшение моделей
AI Engineer World's Fair 2026
Близко по содержанию
Маленькие модели, большие результаты: обучение финансового агента менее чем за $500
AI Engineer World's Fair 2026
Близко по содержанию
