Уроки генерации 12 триллионов синтетических токенов
Lessons from Generating 12 Trillion Synthetic Tokens — Bogdan Gaza, DatologyAI
Масштабная генерация синтетических данных упирается в инфраструктуру, а не в модель: по словам авторов, переписывание отобранных документов даёт меньше токенов на ту же точность.
- Пагинация метаданных S3 — батчевые запросы по 1000 объектов сократили оценённые 9–11 дней инициализации до около двух часов.
- Восстановление после сбоев GPU — маленькие партиции и checkpoint в S3 превращают многодневные падения задач в повторы с минимальной потерей времени.
- Раздельные пулы ресурсов — выделенные CPU- и GPU-пулы для Ray позволяют планировать ресурсы атомарно и снижают фрагментацию между кластерами.
- Перебор параметров vLLM — подбор batch size, speculative decoding и других флагов дал, по словам спикера, около 40% прироста throughput в batch inference.
Кому полезно: тем, кто запускает пакетную генерацию синтетических данных на GPU-кластерах в Kubernetes.
Главы
Похожие доклады
Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Близко по содержанию
Непростая реальность масштабирования: синтетические данные и предобучение
AI Engineer World's Fair 2026
Близко по содержанию
Качество данных — множитель вычислительных ресурсов
AI Engineer World's Fair 2026
Близко по содержанию
Путь к 5 миллионам токенов: преодоление барьеров в обучении на длинном контексте
AI Engineer Europe 2026
Близко по содержанию
