← Каталог

· AI Engineer World's Fair 2024

Опыт Snorkel AI по запуску решений на инфраструктуре Azure AI

Insights from Snorkel AI running Azure AI Infrastructure

Enterprise-модели дообучают на курируемых доменных данных, потому что RAG и готовые LLM не доводят качество до продакшена.

  • Программная разработка данных с экспертами — эксперты предметной области нужны для обратной связи, но их время ограничено. По словам спикера, программный подход масштабирует их работу и делает разработку данных аудируемой.
  • Оценка по доменам вместо общих тестов — тест «иголка в стоге сена» не показывает, как длинный контекст работает в других предметных областях, поэтому оценку предлагается вести для каждой отдельно.
  • Узкие места распределённого обучения — не хватает узлов под нужный batch size, данные лежат далеко от узлов, или NFS не успевает отдавать данные. Низкая загрузка GPU на одном узле обычно указывает на загрузку данных, и проверять её помогает nvidia-smi.
  • H100 против A100 при той же цене — по словам спикеров, два H100 против четырёх A100 дают больше обучения и инференса на доллар, а переход потребовал простой замены без доработок.

Кому полезно: тем, кто дообучает модели для банков и страховых компаний или настраивает обучение на GPU в Azure.

Статья по теме

Главы

Похожие доклады