Когда запуск собственных AI-моделей выгоднее оплаты API
When Running Your Own AI Models Beats Paying for APIs - Steven Latré, imec
Переход с API на собственную инфраструктуру для длинных coding-задач окупается только при высокой загрузке GPU и правильном выборе harness, а конкурентность часто важнее точности модели.
- Конкурентность важнее точности — по словам спикера, даже у крупной Kimi K3 на одном узле надёжно работали лишь около четырёх параллельных пользователей, а задержка была примерно втрое выше, чем у API.
- Harness меняет счёт за GPU — при одинаковом качестве разные harness расходовали разное число токенов; для GLM один из них генерировал вдвое меньше токенов, и время работы GPU сокращалось вдвое.
- Загрузка GPU решает, стоит ли переходить — TCO-расчёт для coding-ассистентов дал, по словам спикера, около 25% экономии, но слабое железо делает переход на собственную инфраструктуру заметно невыгоднее.
- Выбор модели влияет на железо — Qwen и DeepSeek показали близкое качество на задаче, но под Qwen пришлось арендовать GPU, по словам спикера, примерно в четыре раза дороже.
Кому полезно: тем, кто решает, оставаться ли на API или переходить на открытые модели на своих GPU для агентных задач с длинным горизонтом.
Статья по теме
Главы
Похожие доклады
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Близко по содержанию
Тренды на переднем крае развития ИИ
George Cameron, Micah Hill-Smith
AI Engineer World's Fair 2025
Близко по содержанию
Что скрывается за API
AI Engineer Europe 2026
Близко по содержанию
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Близко по содержанию

