← Каталог

Более дешёвая AI-модель, которая обходится дороже

The Cheaper AI Model That Costs You More - Rayan Krishnan, Vals AI

Модель, которая дешевле по прайсу, может оказаться дороже и хуже на ваших задачах, поэтому выбирать её нужно по собственным evals, а не по публичным бенчмаркам.

  • Цена за задачу, а не за токен — на налоговом бенчмарке модель, дешёвая по прайсу, стоила дороже: она тратила больше токенов и при этом на 3% уступала более сильной модели.
  • Лидер зависит от подзадачи — на Excel-моделировании модель, лучшая по общему баллу, не лучшая в категории LBO, и фронтир в этой категории ниже общего результата.
  • Метрика меняет вывод — частичные баллы могут быть высокими, а доля полностью правильных ответов низкой; для выдачи клиенту важна вторая.
  • Eval по истории PR — по словам спикера, команда из 10–12 инженеров потратила за месяц около 1,5 млн долларов на токены; eval на задачах из GitHub issues и PR помог выбрать модели и инструменты, и расходы снизились примерно на 90% при том же результате.

Кому полезно: тем, кто выбирает модели и инструменты для кодинга или работы с финансовыми документами и хочет сравнивать их по стоимости результата. Доклад во многом презентация продуктов Vals AI.

Доклад цитируется в статьях

Главы

Похожие доклады