Более дешёвая AI-модель, которая обходится дороже
The Cheaper AI Model That Costs You More - Rayan Krishnan, Vals AI
Модель, которая дешевле по прайсу, может оказаться дороже и хуже на ваших задачах, поэтому выбирать её нужно по собственным evals, а не по публичным бенчмаркам.
- Цена за задачу, а не за токен — на налоговом бенчмарке модель, дешёвая по прайсу, стоила дороже: она тратила больше токенов и при этом на 3% уступала более сильной модели.
- Лидер зависит от подзадачи — на Excel-моделировании модель, лучшая по общему баллу, не лучшая в категории LBO, и фронтир в этой категории ниже общего результата.
- Метрика меняет вывод — частичные баллы могут быть высокими, а доля полностью правильных ответов низкой; для выдачи клиенту важна вторая.
- Eval по истории PR — по словам спикера, команда из 10–12 инженеров потратила за месяц около 1,5 млн долларов на токены; eval на задачах из GitHub issues и PR помог выбрать модели и инструменты, и расходы снизились примерно на 90% при том же результате.
Кому полезно: тем, кто выбирает модели и инструменты для кодинга или работы с финансовыми документами и хочет сравнивать их по стоимости результата. Доклад во многом презентация продуктов Vals AI.
Доклад цитируется в статьях
Главы
Похожие доклады
Быстрая модель — действительно быстрее? Оценивайте весь процесс
Близко по содержанию
Хватит арендовать когнитивную инфраструктуру
AI Engineer World's Fair 2026
Близко по содержанию
Тренды на переднем крае развития ИИ
George Cameron, Micah Hill-Smith
AI Engineer World's Fair 2025
Близко по содержанию
Счёт за ИИ слишком велик: основы токеномики
Близко по содержанию

