← Каталог

· AI Engineer Code 2025

Уроки генерации 12 триллионов синтетических токенов

Lessons from Generating 12 Trillion Synthetic Tokens — Bogdan Gaza, DatologyAI

Масштабная генерация синтетических данных упирается в инфраструктуру, а не в модель: по словам авторов, переписывание отобранных документов даёт меньше токенов на ту же точность.

  • Пагинация метаданных S3 — батчевые запросы по 1000 объектов сократили оценённые 9–11 дней инициализации до около двух часов.
  • Восстановление после сбоев GPU — маленькие партиции и checkpoint в S3 превращают многодневные падения задач в повторы с минимальной потерей времени.
  • Раздельные пулы ресурсов — выделенные CPU- и GPU-пулы для Ray позволяют планировать ресурсы атомарно и снижают фрагментацию между кластерами.
  • Перебор параметров vLLM — подбор batch size, speculative decoding и других флагов дал, по словам спикера, около 40% прироста throughput в batch inference.

Кому полезно: тем, кто запускает пакетную генерацию синтетических данных на GPU-кластерах в Kubernetes.

Главы

Похожие доклады