← Каталог

· AI Engineer World's Fair 2026

Предпочтения важнее бенчмарков: маршрутизация моделей

Preferences Over Benchmarks: Model Routing — Archana Kamath & Tyler Gillam, DigitalOcean

Выбирать модель стоит для каждого запроса с учётом задачи, цены, задержки и пользовательских предпочтений, а не по верхней строчке бенчмарка.

  • Маршрутизация по задаче — классификацию и разметку можно отдать небольшой открытой модели, а код-ревью и безопасность оставить frontier-модели. Правила задаются на естественном языке и через пресеты, а решение о маршрутизации занимает меньше 200 миллисекунд.
  • Failover и выбор по скорости — можно задать ручной порядок моделей с запасной на случай сбоя или выбирать самую быструю модель за последние 30 минут.
  • Экономия в кодинг-сценарии — в демо на coding агенте маршрутизатор, по словам авторов, обошёлся примерно в 3 раза дешевле прямого использования Opus при близком качестве. Оценка качества при этом субъективна.
  • Проверка на своих evals — авторы советуют сверять маршрутизацию со своими тестами, а не с чужими лидербордами, и дообучать правила по результатам.

Кому полезно: тем, кто хочет снизить счета за инференс и не завязываться на одну модель, которая может деградировать или упасть.

Статья по теме

Главы

Похожие доклады