· AI Engineer World's Fair 2024
Иерархия потребностей при разработке обучающих датасетов
The Hierarchy of Needs for Training Dataset Development
Качество обучения foundation-моделей определяется работой с датасетами, и, по словам авторов, формат Lance закрывает в одной таблице быстрые scans, random access и стриминг больших файлов.
- Shuffle по ссылкам на строки — Lance перемешивает не сами строки, а ссылки на них, поэтому перемешивание стоит дёшево и ускоряет итерации обучения. Спикеры говорят, что это экономит время, а GPU загружены полезной работой.
- Материализация датасетов отдельно от обучения — датасет собирается сервисом по запросу (конфигурация в YAML с SQL-блоком), а тренировочная задача только читает готовый результат. По словам спикера, так снимается одна из самых частых ошибок: непонятно, на каких данных модель учится.
- Три свойства вместо двух — обычные форматы дают максимум два из трёх: быстрые scans для фильтрации, random access для shuffle и стриминг больших бинарных объектов в GPU. Строка с эмбеддингом весит в 20–25 раз больше скалярной, а картинка добавляет ещё примерно в 20 раз.
- Zero-copy schema evolution — новые колонки добавляются без копирования исходного датасета, каждая запись versioned, откат к известной рабочей версии занимает мгновение.
Кому полезно: тем, кто собирает, фильтрует и размечает мультимодальные датасеты для pre-training или post-training и хранит их в S3 или data lake.
На какие вопросы отвечает доклад
Как понять, что на самом деле лежит в обучающих датасетах для LLM?
Нужна аналитика по коллекциям: токены, длины, сложность задач, например число функций и классов в коде. По словам спикеров, чтение самих данных дало самый большой выигрыш.
▶ 3:25Проверка датасетов, аналитика и инфраструктура синтетических данныхКак отбирать данные для обучения, чтобы их распределение совпадало с нужным поведением модели?
Спикеры подбирают данные через embeddings, retrieval и кластеризацию под метрики evals. Качество оценивают классификаторами или prompting-классификацией, а синтетику генерируют на Spark, Trino и GPU-сервисах и дорабатывают ручной разметкой.
▶ 3:25Проверка датасетов, аналитика и инфраструктура синтетических данныхПочему загрузка данных становится узким местом при обучении на огромных мультимодальных датасетах?
При больших объёмах загрузка становится отдельной задачей. По словам спикеров, Lance позволяет перемешивать ссылки на строки вместо самих строк, что дешевле и ускоряет итерации.
▶ 5:54Материализация датасета и перемешивание на базе LanceПочему обычные форматы данных не подходят одновременно для фильтрации, случайного доступа и стриминга больших бинарных файлов?
По словам спикеров, существующие форматы обычно закрывают не более двух из трёх свойств. Parquet быстро сканирует, но медленно достаёт отдельные строки, а Lance хранит большие блобы inline без ограничения row groups.
▶ 7:52Сканирование, произвольный доступ и двоичная потоковая передача: компромисс в работе с данными для ИИКак добавить новые колонки в большой датасет и откатить эксперимент, не копируя данные?
Таблица версионируется при каждом добавлении данных, новые колонки добавляются без копирования исходного датасета (zero-copy schema evolution). Откат к предыдущей версии, по словам спикеров, занимает мгновение.
▶ 9:41Масштаб мультимодальных датасетов и эволюция схемы без копирования
Главы
Ещё доклады: Chang She
Страница спикера →Масштабирование корпоративных RAG-систем: опыт в юридической сфере
AI Engineer World's Fair 2025
Похожие доклады
Непростая реальность масштабирования: синтетические данные и предобучение
AI Engineer World's Fair 2026
Близко по содержанию
Качество данных — множитель вычислительных ресурсов
AI Engineer World's Fair 2026
Близко по содержанию
Обучение Albatross: экспертной языковой модели для финансов
AI Engineer World's Fair 2024
Близко по содержанию

