← Каталог

Счёт за ИИ слишком велик: основы токеномики

The AI Bill Is Too Damn High: Tokenomics 101 — Eugene Cheah, Featherless AI

Счёт за токены снижается, когда расходы измерены по командам и сценариям, а каждая задача идёт на самую дешёвую модель, которая справляется с ней на своих примерах.

  • Измерение по ключам — выдавайте отдельные API-ключи на отдел и сценарий, иначе не понятно, где уходят токены. Длинные агентные сценарии с многими ходами и поток коротких запросов, например обработка обращений, имеют разную экономику, и считать их надо отдельно.
  • Скорость против пропускной способности — при 16 параллельных запросах скорость каждого падает примерно вдвое, а общий выход растёт почти в 10 раз, поэтому фоновые задачи не нужно гонять на максимальной скорости. По словам спикера, это снижает стоимость примерно в 9–10 раз, но спикер продаёт инференс, и это его опыт, а не независимая проверка.
  • Сильная модель для плана, быстрая для кода — сильная модель составляет план и делает ревью, дешёвая и быстрая пишет реализацию. Спикер советует выбирать быструю модель: люди переключаются на неё ради скорости, а не ради экономии.
  • Токены — не сделанная работа — генерация кода и слайдов, которые уходят дальше без проверки, перекладывает работу на ревьюеров. Спикер предлагает отвечать за свой результат и измерять полезные исходы, а не объём использования.

Кому полезно: тем, у кого расходы на LLM уже заметны в бюджете и несколько команд работают через один API.

Доклад цитируется в статьях

Главы

Ещё доклады: Eugene Cheah

Страница спикера →

Похожие доклады