Счёт за ИИ слишком велик: основы токеномики
The AI Bill Is Too Damn High: Tokenomics 101 — Eugene Cheah, Featherless AI
Счёт за токены снижается, когда расходы измерены по командам и сценариям, а каждая задача идёт на самую дешёвую модель, которая справляется с ней на своих примерах.
- Измерение по ключам — выдавайте отдельные API-ключи на отдел и сценарий, иначе не понятно, где уходят токены. Длинные агентные сценарии с многими ходами и поток коротких запросов, например обработка обращений, имеют разную экономику, и считать их надо отдельно.
- Скорость против пропускной способности — при 16 параллельных запросах скорость каждого падает примерно вдвое, а общий выход растёт почти в 10 раз, поэтому фоновые задачи не нужно гонять на максимальной скорости. По словам спикера, это снижает стоимость примерно в 9–10 раз, но спикер продаёт инференс, и это его опыт, а не независимая проверка.
- Сильная модель для плана, быстрая для кода — сильная модель составляет план и делает ревью, дешёвая и быстрая пишет реализацию. Спикер советует выбирать быструю модель: люди переключаются на неё ради скорости, а не ради экономии.
- Токены — не сделанная работа — генерация кода и слайдов, которые уходят дальше без проверки, перекладывает работу на ревьюеров. Спикер предлагает отвечать за свой результат и измерять полезные исходы, а не объём использования.
Кому полезно: тем, у кого расходы на LLM уже заметны в бюджете и несколько команд работают через один API.
Доклад цитируется в статьях
Главы
Ещё доклады: Eugene Cheah
Страница спикера →Для чего вообще используют open models?
AI Engineer Summit 2025
Следующие единороги: 7 ведущих AI-стартапов из резиденции HF0
Alex Atallah, Eugene Cheah, Diego Rodriguez, David Vorick, Jonas Bauer, Shijia Liao
AI Engineer World's Fair 2025
Похожие доклады
Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Близко по содержанию
Ваша fine-tuned модель — техдолг: карточный домик с ROI 50×
AI Engineer World's Fair 2026
Близко по содержанию
Одна модель — разная скорость: почему важен провайдер инференса
AI Engineer World's Fair 2026
Близко по содержанию
Как Revolut сократил расходы на AI-кодинг на 90% благодаря self-hosted открытым моделям
Близко по содержанию

