· AI Engineer World's Fair 2026
Предпочтения важнее бенчмарков: маршрутизация моделей
Preferences Over Benchmarks: Model Routing — Archana Kamath & Tyler Gillam, DigitalOcean
Выбирать модель стоит для каждого запроса с учётом задачи, цены, задержки и пользовательских предпочтений, а не по верхней строчке бенчмарка.
- Маршрутизация по задаче — классификацию и разметку можно отдать небольшой открытой модели, а код-ревью и безопасность оставить frontier-модели. Правила задаются на естественном языке и через пресеты, а решение о маршрутизации занимает меньше 200 миллисекунд.
- Failover и выбор по скорости — можно задать ручной порядок моделей с запасной на случай сбоя или выбирать самую быструю модель за последние 30 минут.
- Экономия в кодинг-сценарии — в демо на coding агенте маршрутизатор, по словам авторов, обошёлся примерно в 3 раза дешевле прямого использования Opus при близком качестве. Оценка качества при этом субъективна.
- Проверка на своих evals — авторы советуют сверять маршрутизацию со своими тестами, а не с чужими лидербордами, и дообучать правила по результатам.
Кому полезно: тем, кто хочет снизить счета за инференс и не завязываться на одну модель, которая может деградировать или упасть.
Статья по теме
Главы
Похожие доклады
Современное состояние маршрутизации моделей
Alex Atallah, Carter Abdallah, Nader Khalil, Tanay Varshney, Walden Yan
AI Engineer World's Fair 2026
Близко по содержанию
Бенчмарки: хорошие, плохие и ужасные
AI Engineer World's Fair 2026
Близко по содержанию
Быстрая модель — действительно быстрее? Оценивайте весь процесс
Близко по содержанию
LLM-gateway в production: архитектура, компромиссы и важные уроки
AI Engineer World's Fair 2026
Близко по содержанию


