Масштабирование reinforcement learning: уроки внедрений на триллионах токенов в компаниях Fortune 500
Scaling Reinforcement Learning: Lessons from Trillion-Token Deployments at Fortune 500s
Reinforcement learning, по мысли спикера, единственный метод post-training, который позволяет систематически встраивать обратную связь из продакшена и довести модель от MVP до эксплуатации.
- Меньшая модель вместо большой — по словам спикера, RL даёт качество, сопоставимое с supervised fine-tuning, на заметно меньшей модели, что снижает стоимость и задержку inference. Для голосовой поддержки он называет порог около полсекунды.
- Синтетические траектории из среды — агент обучается в среде с замоканными инструментами и пользователем-симулятором, а reward задаётся бизнес-метриками или LLM-as-a-judge. Хорошие траектории отбираются через rejection sampling и становятся стартовым датасетом.
- Человек в цикле без массовой разметки — человек задаёт критерии оценки и сценарии для LLM-судей, на что уходят минуты или часы, а не недели. Для клиента CCS, по словам спикера, reward — доля звонков, которые модель закрывает целиком, без оператора.
- Reward-модели на данных продакшена — на ранних этапах хватает десятков отзывов для калибровки судей, а при тысячах отзывов на них обучают reward-модели.
Кому полезно: тем, кто ведёт LLM или агентов от прототипа в продакшен и упирается в стоимость и задержку inference.
Статья по теме
Главы
Похожие доклады
Масштабирование непрерывного обучения
AI Engineer World's Fair 2026
Близко по содержанию
Обучение с подкреплением без проверяемых наград
AI Engineer World's Fair 2026
Близко по содержанию
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Близко по содержанию
Эффективное обучение с подкреплением
AI Engineer Code 2025
Близко по содержанию

