· AI Engineer World's Fair 2026
Подготовка данных и сред для постобучения LLM
Data and Environment Curation for Post-training LLMs
Главный барьер на пути к надёжным автономным агентам — качество синтетических данных и RL-сред, по словам автора.
- Несколько ответов на вопрос — в проекте OpenThoughts генерация нескольких ответов на один вопрос дала лучший результат, чем один ответ на большее число вопросов. По словам спикера, разнообразие способов рассуждения важнее объёма вопросов.
- Сильнее не значит лучше как учитель — более сильные модели не всегда оказывались лучшими teacher-моделями для генерации трасс. Для агентного набора спикер называет модели Qwen, которые по его оценке работали лучше некоторых Claude-моделей.
- Теги вместо точных чисел — в кейсе с Intuit для Credit Karma модель после дообучения выдумывала цифры вроде нулевой APR. Разметка примеров тегами перевела внимание модели на форму ответа, и, по словам автора, выросли комплаенс, скорость и пропускная способность.
- Песочницы с checkpoint для длинных траекторий — длинные траектории требуют снимков и отката состояния sandbox. Для подбора системных промптов и harness спикер предлагает GEPA, оптимизацию промптов самой LLM через рефлексию.
Кому полезно: тем, кто дообучает модели под агентов или строит RL-среды и тестовые наборы для них.
Статья по теме
Главы
Похожие доклады
Всё, что нужно знать о fine-tuning и объединении LLM
AI Engineer World's Fair 2024
Близко по содержанию
OpenThoughts: рецепты подготовки данных для reasoning-моделей
AI Engineer World's Fair 2025
Близко по содержанию
Современный post-training: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию
Качество данных — множитель вычислительных ресурсов
AI Engineer World's Fair 2026
Близко по содержанию

