Пусть LLM исследуют: проектирование сред для RL
Let LLMs Wander: Engineering RL Environments — Stefano Fiorucci
Маленькая открытая модель после SFT и RL в среде на Verifiers, по словам спикера, обыгрывает GPT-5 Mini в крестики-нолики против оптимального соперника.
- Размер батча для RL — при батче меньше 256 игр обучение становится нестабильным и уходит в коллапс: модель учится на малом числе партий и соперников сразу. Стратифицированная выборка дает в каждом батче равномерную смесь сложностей соперника.
- Скрытое смещение в эталоне — minimax при равноценных ходах выбирал первую свободную клетку, и модель за много игр запомнила именно этого соперника. Заметили это только при игре против самой модели.
- Детерминированный шум — seed на ход, выведенный из seed примера и позиции на доске, гарантирует, что одинаковая позиция получает одинаковый ответ соперника, и разница наград в группе отражает стратегию модели.
- Стартовая модель — лучше взять инструктивную модель, а не reasoning: длинные цепочки рассуждений при ограниченном GPU обрезаются и тратят бюджет обучения.
Кому полезно: тем, кто хочет дообучить небольшую модель под одну задачу с понятной наградой и проверяемым результатом.
Статья по теме
Главы
Похожие доклады
Современный post-training: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию
Адаптация и fine-tuning LLM для специализированных областей
AI Engineer Summit 2023
Близко по содержанию
Что RL значит для агентов
AI Engineer Summit 2025
Близко по содержанию
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Близко по содержанию

