· AI Engineer World's Fair 2024
Опыт Snorkel AI по запуску решений на инфраструктуре Azure AI
Insights from Snorkel AI running Azure AI Infrastructure
Enterprise-модели дообучают на курируемых доменных данных, потому что RAG и готовые LLM не доводят качество до продакшена.
- Программная разработка данных с экспертами — эксперты предметной области нужны для обратной связи, но их время ограничено. По словам спикера, программный подход масштабирует их работу и делает разработку данных аудируемой.
- Оценка по доменам вместо общих тестов — тест «иголка в стоге сена» не показывает, как длинный контекст работает в других предметных областях, поэтому оценку предлагается вести для каждой отдельно.
- Узкие места распределённого обучения — не хватает узлов под нужный batch size, данные лежат далеко от узлов, или NFS не успевает отдавать данные. Низкая загрузка GPU на одном узле обычно указывает на загрузку данных, и проверять её помогает nvidia-smi.
- H100 против A100 при той же цене — по словам спикеров, два H100 против четырёх A100 дают больше обучения и инференса на доллар, а переход потребовал простой замены без доработок.
Кому полезно: тем, кто дообучает модели для банков и страховых компаний или настраивает обучение на GPU в Azure.
Статья по теме
Главы
Похожие доклады
Ускорение обучения Mixture of Experts с помощью оптимизированной по rail-топологии сети InfiniBand в Crusoe Cloud
AI Engineer World's Fair 2024
Близко по содержанию
Искусство и наука бенчмаркинга для agents
AI Engineer Europe 2026
Близко по содержанию
Рост популярности открытых моделей в корпоративном секторе
AI Engineer World's Fair 2025
Близко по содержанию
Качество данных — множитель вычислительных ресурсов
AI Engineer World's Fair 2026
Близко по содержанию


