← Каталог

· AI Engineer World's Fair 2024

Иерархия потребностей при разработке обучающих датасетов

The Hierarchy of Needs for Training Dataset Development

Качество обучения foundation-моделей определяется работой с датасетами, и, по словам авторов, формат Lance закрывает в одной таблице быстрые scans, random access и стриминг больших файлов.

  • Shuffle по ссылкам на строки — Lance перемешивает не сами строки, а ссылки на них, поэтому перемешивание стоит дёшево и ускоряет итерации обучения. Спикеры говорят, что это экономит время, а GPU загружены полезной работой.
  • Материализация датасетов отдельно от обучения — датасет собирается сервисом по запросу (конфигурация в YAML с SQL-блоком), а тренировочная задача только читает готовый результат. По словам спикера, так снимается одна из самых частых ошибок: непонятно, на каких данных модель учится.
  • Три свойства вместо двух — обычные форматы дают максимум два из трёх: быстрые scans для фильтрации, random access для shuffle и стриминг больших бинарных объектов в GPU. Строка с эмбеддингом весит в 20–25 раз больше скалярной, а картинка добавляет ещё примерно в 20 раз.
  • Zero-copy schema evolution — новые колонки добавляются без копирования исходного датасета, каждая запись versioned, откат к известной рабочей версии занимает мгновение.

Кому полезно: тем, кто собирает, фильтрует и размечает мультимодальные датасеты для pre-training или post-training и хранит их в S3 или data lake.

На какие вопросы отвечает доклад

Главы

Ещё доклады: Chang She

Страница спикера →

Похожие доклады