· AI Engineer World's Fair 2026
Хватит арендовать когнитивную инфраструктуру
Stop Renting Your Cognitive Infrastructure
Арендовать инференс стоит до product-market fit, а после него строить собственную инфраструктуру, иначе теряются контроль над расходами, лимитами и воспроизводимостью ответов.
- Неконтролируемые счета — метерный API растёт непредсказуемо, особенно когда агентные циклы тратят токены на лишние вызовы. По словам спикера, украденный ключ поднял расходы с 7 до 10 тысяч долларов, прежде чем его остановили.
- Когда переходить на своё железо — пока продукт не доказан, аренда оправдана. Когда проект заложен в бюджет или нужны контроль лимитов и аудит, по мнению спикера, собственная инфраструктура уже необходима.
- Причины ухода enterprise от token factory — фонд хотел сам задавать rate limit, больница не прошла аудит из-за зависимости от стороннего вендора, а налоговой практике нужно было воспроизводить рекомендацию модели, что без доступа к модели невозможно.
- JustTokenMax — open source проект для оптимизации входных токенов и управления контекстом. По словам автора, в его бенчмарках он превосходит Headroom.
Кому полезно: тем, кто выбирает между API провайдера и собственным инференсом для продукта или корпоративного проекта.
Статья по теме
Главы
Похожие доклады
Revenue Engineering: как устанавливать и пересматривать цены на AI-продукт
AI Engineer World's Fair 2025
Близко по содержанию
Что делает открытые модели быстрыми в production
AI Engineer Code 2025
Близко по содержанию
Почему рынок вычислительных мощностей всё ещё живёт в групповых чатах
Affaan Mustafa, Alejandro Soumah Fernandez
Близко по содержанию
Город токенов Notion
AI Engineer World's Fair 2026
Близко по содержанию

