← Каталог

· AI Engineer World's Fair 2025

Рост популярности открытых моделей в корпоративном секторе

The Rise of Open Models in the Enterprise

Крупные компании начинают строить на открытых моделях, потому что закрытые API не тянут узкие задачи, задержки и экономику, но эксплуатация inference оказывается сложнее, чем кажется.

  • Качество на узких задачах — по словам спикера, модель, дообученная на размеченных данных заказчика, для извлечения медицинских кодов из документов работает лучше универсальных API-моделей. Такие данные есть у крупных компаний, и это их преимущество.
  • Задержка против пропускной способности — общие API оптимизированы под throughput и QPS, а для голосовых агентов важны time to first token и P99. Решать это приходится и на уровне модели (speculative decoding: EAGLE-3, Medusa, MTP), и на уровне инфраструктуры (prefix caching, disaggregated serving).
  • Стоимость агентных сценариев — одно действие пользователя может вызывать до 50 inference-вызовов, поэтому собственный compute, по словам спикера, заметно дешевле оплаты за токен.
  • Надёжность и масштабирование — четыре девятки доступности требуют быстрого восстановления после сбоев GPU и падений vLLM. Один крупный производитель напитков поднимал новую реплику модели восемь минут, и при всплеске трафика хвост задержек растёт.

Кому полезно: техлидам, которые решают, строить ли собственный inference на open-моделях или покупать готовую платформу.

Статья по теме

Главы

Похожие доклады