← Каталог

· AI Engineer Europe 2026

Пусть LLM исследуют: проектирование сред для RL

Let LLMs Wander: Engineering RL Environments — Stefano Fiorucci

Маленькая открытая модель после SFT и RL в среде на Verifiers, по словам спикера, обыгрывает GPT-5 Mini в крестики-нолики против оптимального соперника.

  • Размер батча для RL — при батче меньше 256 игр обучение становится нестабильным и уходит в коллапс: модель учится на малом числе партий и соперников сразу. Стратифицированная выборка дает в каждом батче равномерную смесь сложностей соперника.
  • Скрытое смещение в эталоне — minimax при равноценных ходах выбирал первую свободную клетку, и модель за много игр запомнила именно этого соперника. Заметили это только при игре против самой модели.
  • Детерминированный шум — seed на ход, выведенный из seed примера и позиции на доске, гарантирует, что одинаковая позиция получает одинаковый ответ соперника, и разница наград в группе отражает стратегию модели.
  • Стартовая модель — лучше взять инструктивную модель, а не reasoning: длинные цепочки рассуждений при ограниченном GPU обрезаются и тратят бюджет обучения.

Кому полезно: тем, кто хочет дообучить небольшую модель под одну задачу с понятной наградой и проверяемым результатом.

Статья по теме

Главы

Похожие доклады