← Каталог

Когда запуск собственных AI-моделей выгоднее оплаты API

When Running Your Own AI Models Beats Paying for APIs - Steven Latré, imec

Переход с API на собственную инфраструктуру для длинных coding-задач окупается только при высокой загрузке GPU и правильном выборе harness, а конкурентность часто важнее точности модели.

  • Конкурентность важнее точности — по словам спикера, даже у крупной Kimi K3 на одном узле надёжно работали лишь около четырёх параллельных пользователей, а задержка была примерно втрое выше, чем у API.
  • Harness меняет счёт за GPU — при одинаковом качестве разные harness расходовали разное число токенов; для GLM один из них генерировал вдвое меньше токенов, и время работы GPU сокращалось вдвое.
  • Загрузка GPU решает, стоит ли переходить — TCO-расчёт для coding-ассистентов дал, по словам спикера, около 25% экономии, но слабое железо делает переход на собственную инфраструктуру заметно невыгоднее.
  • Выбор модели влияет на железо — Qwen и DeepSeek показали близкое качество на задаче, но под Qwen пришлось арендовать GPU, по словам спикера, примерно в четыре раза дороже.

Кому полезно: тем, кто решает, оставаться ли на API или переходить на открытые модели на своих GPU для агентных задач с длинным горизонтом.

Статья по теме

Главы

Похожие доклады