Масштабирование новой парадигмы гетерогенного интеллекта
Scaling the Next Paradigm of Heterogeneous Intelligence
Распределение подзадач агента между разными моделями и чипами, по словам авторов, дает более низкую цену и задержку, чем одна большая модель на одинаковом железе.
- Длинный контекст как среда, а не промпт — контекст лежит в файле, агент достает из него нужные куски через Python REPL и передает их дочерним агентам. На бенчмарке OOLONG конфигурация на Cerebras, по словам авторов, в семь раз дешевле и в пять раз быстрее запуска на frontier-модели GPT.
- Маршрутизация по подзадачам — в агенте для веб-навигации Qwen3-VL-8B-Instruct берет простые шаги, например увеличение фрагмента изображения, а Kimi K2.5 или GPT решают сложные. Эти шаги на маленькой модели, по словам авторов, в 11 раз быстрее и в 43 раза дешевле, чем на GPT.
- Результат на VideoWebArena — гетерогенная связка моделей, по словам авторов, обошла GPT-5.2 и Gemini 2.5 на 18% и 25% соответственно.
- Выбор модели — сначала решения о маппинге подзадач принимались вручную, потом появился слой автоматизации, который оценивает сложность задачи и предсказывает подходящие модель и железо.
Кому полезно: тем, кто строит агентов с длинными контекстами или большим числом вызовов модели и считает стоимость и задержку. Доклад во многом рассказ о подходе Callosum, но разбор маршрутизации полезен и без этого контекста.
Статья по теме
Главы
Похожие доклады
Современное состояние маршрутизации моделей
Alex Atallah, Carter Abdallah, Nader Khalil, Tanay Varshney, Walden Yan
AI Engineer World's Fair 2026
Близко по содержанию
Преодоление гигагерцевого барьера в ИИ
AI Engineer World's Fair 2024
Близко по содержанию
Масштабирование для задач с длинным горизонтом
AI Engineer World's Fair 2026
Близко по содержанию
Инфраструктура для малых моделей, которую никто не создал (поэтому мы её создали)
AI Engineer World's Fair 2025
Близко по содержанию

