← Каталог

· AI Engineer World's Fair 2026

Подготовка данных и сред для постобучения LLM

Data and Environment Curation for Post-training LLMs

Главный барьер на пути к надёжным автономным агентам — качество синтетических данных и RL-сред, по словам автора.

  • Несколько ответов на вопрос — в проекте OpenThoughts генерация нескольких ответов на один вопрос дала лучший результат, чем один ответ на большее число вопросов. По словам спикера, разнообразие способов рассуждения важнее объёма вопросов.
  • Сильнее не значит лучше как учитель — более сильные модели не всегда оказывались лучшими teacher-моделями для генерации трасс. Для агентного набора спикер называет модели Qwen, которые по его оценке работали лучше некоторых Claude-моделей.
  • Теги вместо точных чисел — в кейсе с Intuit для Credit Karma модель после дообучения выдумывала цифры вроде нулевой APR. Разметка примеров тегами перевела внимание модели на форму ответа, и, по словам автора, выросли комплаенс, скорость и пропускная способность.
  • Песочницы с checkpoint для длинных траекторий — длинные траектории требуют снимков и отката состояния sandbox. Для подбора системных промптов и harness спикер предлагает GEPA, оптимизацию промптов самой LLM через рефлексию.

Кому полезно: тем, кто дообучает модели под агентов или строит RL-среды и тестовые наборы для них.

Статья по теме

Главы

Похожие доклады