← Каталог

· AI Engineer Europe 2026

Масштабирование reinforcement learning: уроки внедрений на триллионах токенов в компаниях Fortune 500

Scaling Reinforcement Learning: Lessons from Trillion-Token Deployments at Fortune 500s

Reinforcement learning, по мысли спикера, единственный метод post-training, который позволяет систематически встраивать обратную связь из продакшена и довести модель от MVP до эксплуатации.

  • Меньшая модель вместо большой — по словам спикера, RL даёт качество, сопоставимое с supervised fine-tuning, на заметно меньшей модели, что снижает стоимость и задержку inference. Для голосовой поддержки он называет порог около полсекунды.
  • Синтетические траектории из среды — агент обучается в среде с замоканными инструментами и пользователем-симулятором, а reward задаётся бизнес-метриками или LLM-as-a-judge. Хорошие траектории отбираются через rejection sampling и становятся стартовым датасетом.
  • Человек в цикле без массовой разметки — человек задаёт критерии оценки и сценарии для LLM-судей, на что уходят минуты или часы, а не недели. Для клиента CCS, по словам спикера, reward — доля звонков, которые модель закрывает целиком, без оператора.
  • Reward-модели на данных продакшена — на ранних этапах хватает десятков отзывов для калибровки судей, а при тысячах отзывов на них обучают reward-модели.

Кому полезно: тем, кто ведёт LLM или агентов от прототипа в продакшен и упирается в стоимость и задержку inference.

Статья по теме

Главы

Похожие доклады