← Каталог

· AI Engineer World's Fair 2026

Современное состояние маршрутизации моделей

The State of Model Routing — NVIDIA, Cognition, OpenRouter

Alex Atallah, Carter Abdallah и ещё 3 спикераВсе 5Свернуть

Маршрутизация между моделями окупается, когда дорогая модель планирует работу, а дешёвая её выполняет, но переключение по типу задачи оказывается ненадёжным.

  • Сильная модель сверху — по словам Cognition, frontier-модель делает планирование и трудные решения, а реализацию отдаёт более дешёвой; в Devin Fusion это, по их оценке, снижает стоимость такого уровня интеллекта примерно на 40%. Сильная модель при этом следит, не вышла ли дешёвая за пределы своих возможностей.
  • Контекст держится в одной модели — файл, прочитанный несколькими моделями, оплачивается несколько раз, поэтому большая часть контекста должна идти только одной модели, а назад передаётся сжатая выжимка и ссылки на файлы. Спикеры советуют держать контекст до 100–200K токенов, потому что качество модели падает на длинных окнах.
  • Выбор по типу задачи хрупок — задача меняется внутри сессии от вопросов о коде к реализации и отладке, поэтому статическое правило быстро ломается. Автороутер OpenRouter почти не использовали, пока спрос не вырос из-за OpenClaw с heartbeat-запросами каждые десять минут.
  • Кэш и локальное железо — NVIDIA показывает Flextron, где модель дистиллируется в меньшие варианты и декодирует только нужную часть весов; для self-hosted моделей спикеры называют Dynamo с оптимизацией prefix cache.

Кому полезно: тем, кто строит систему из нескольких моделей и считает стоимость токенов в агентных задачах.

Доклад цитируется в статьях

Главы

Ещё доклады: Alex Atallah

Страница спикера →

Ещё доклады: Carter Abdallah

Страница спикера →

Похожие доклады