· AI Engineer World's Fair 2026
Современное состояние маршрутизации моделей
The State of Model Routing — NVIDIA, Cognition, OpenRouter
Alex Atallah, Carter Abdallah и ещё 3 спикераВсе 5Свернуть
Маршрутизация между моделями окупается, когда дорогая модель планирует работу, а дешёвая её выполняет, но переключение по типу задачи оказывается ненадёжным.
- Сильная модель сверху — по словам Cognition, frontier-модель делает планирование и трудные решения, а реализацию отдаёт более дешёвой; в Devin Fusion это, по их оценке, снижает стоимость такого уровня интеллекта примерно на 40%. Сильная модель при этом следит, не вышла ли дешёвая за пределы своих возможностей.
- Контекст держится в одной модели — файл, прочитанный несколькими моделями, оплачивается несколько раз, поэтому большая часть контекста должна идти только одной модели, а назад передаётся сжатая выжимка и ссылки на файлы. Спикеры советуют держать контекст до 100–200K токенов, потому что качество модели падает на длинных окнах.
- Выбор по типу задачи хрупок — задача меняется внутри сессии от вопросов о коде к реализации и отладке, поэтому статическое правило быстро ломается. Автороутер OpenRouter почти не использовали, пока спрос не вырос из-за OpenClaw с heartbeat-запросами каждые десять минут.
- Кэш и локальное железо — NVIDIA показывает Flextron, где модель дистиллируется в меньшие варианты и декодирует только нужную часть весов; для self-hosted моделей спикеры называют Dynamo с оптимизацией prefix cache.
Кому полезно: тем, кто строит систему из нескольких моделей и считает стоимость токенов в агентных задачах.
Доклад цитируется в статьях
Главы
Ещё доклады: Alex Atallah
Страница спикера →Следующие единороги: 7 ведущих AI-стартапов из резиденции HF0
Alex Atallah, Eugene Cheah, Diego Rodriguez, David Vorick, Jonas Bauer, Shijia Liao
AI Engineer World's Fair 2025
Забавные истории о создании OpenRouter и о том, что ждёт индустрию
AI Engineer World's Fair 2025
Ещё доклады: Carter Abdallah
Страница спикера →Локальные модели: доверие, контроль и оптимизация
Carter Abdallah, Chris Alexiuk, Lucas Atkins, Vincent Weisser
AI Engineer World's Fair 2026
Похожие доклады
Состояние дел: почему локальный ИИ и почему именно сейчас
Ahmad Osman, Alex Cheema, Nader Khalil, Joseph Nelson, Matthew Berman
AI Engineer World's Fair 2026
Тот же спикер: Nader Khalil
Одна модель — разная скорость: почему важен провайдер инференса
AI Engineer World's Fair 2026
Близко по содержанию





