· AI Engineer World's Fair 2025
Рост популярности открытых моделей в корпоративном секторе
The Rise of Open Models in the Enterprise
Крупные компании начинают строить на открытых моделях, потому что закрытые API не тянут узкие задачи, задержки и экономику, но эксплуатация inference оказывается сложнее, чем кажется.
- Качество на узких задачах — по словам спикера, модель, дообученная на размеченных данных заказчика, для извлечения медицинских кодов из документов работает лучше универсальных API-моделей. Такие данные есть у крупных компаний, и это их преимущество.
- Задержка против пропускной способности — общие API оптимизированы под throughput и QPS, а для голосовых агентов важны time to first token и P99. Решать это приходится и на уровне модели (speculative decoding: EAGLE-3, Medusa, MTP), и на уровне инфраструктуры (prefix caching, disaggregated serving).
- Стоимость агентных сценариев — одно действие пользователя может вызывать до 50 inference-вызовов, поэтому собственный compute, по словам спикера, заметно дешевле оплаты за токен.
- Надёжность и масштабирование — четыре девятки доступности требуют быстрого восстановления после сбоев GPU и падений vLLM. Один крупный производитель напитков поднимал новую реплику модели восемь минут, и при всплеске трафика хвост задержек растёт.
Кому полезно: техлидам, которые решают, строить ли собственный inference на open-моделях или покупать готовую платформу.
Статья по теме
Главы
Похожие доклады
OpenAI для руководителей AI-направлений
Toki Sherbakov, Prashant Mital
AI Engineer Summit 2025
Близко по содержанию
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Близко по содержанию
Почему AI-стартапы исчезнут без рынков вычислительных мощностей
Близко по содержанию
Суверенный рывок: контроль над моделями с открытыми весами
AI Engineer Europe 2026
Близко по содержанию

