← Каталог

Тот же GPU — на 50% больше результата: почему важен оператор

Same GPU, 50% More Output: Why the Operator Matters — Oliver Kennon, SemiAnalysis

Стоимость полезного токена на GPU определяет оператор: по словам спикера, его стек на B200 даёт примерно на 50% больше выхода при той же интерактивности.

  • Цена полезного результата — делите все расходы на доставку, включая аренду GPU, софт и персонал, на объём ответов, которые клиент может реально использовать. Почасовая цена аренды — это вход, а не стоимость токена у производителя.
  • Два стека на B200 — при модели с 8k входных и 1k выходных токенов и цели 100 токенов в секунду на пользователя один стек дал около 200 токенов в секунду в P90, второй около 300, по расчётам калькулятора InferenceX.
  • Относительная позиция — даже улучшаясь, производитель может отстать от конкурентов, которые растут быстрее. Дефицит мощностей такую разницу скрывает, поэтому сравнивать стоит с тем, что дают конкуренты.
  • Безопасность и рейтинг — в собственном исследовании SemiAnalysis нашли мониторинг, который открывал логи и метрики другого клиента, и быстрые GPU не спасли сервис. ClusterMAX 3.0 оценивает управляемые кластеры, но его оценки не переносятся на bare metal и сами по себе не решают задачу фьючерсов.

Кому полезно: тем, кто выбирает GPU-облако для инференса или считает стоимость токенов в продакшене.

Статья по теме

Главы

Похожие доклады