· AI Engineer World's Fair 2025
От Mixture of Experts к Mixture of Agents — с молниеносным инференсом
From Mixture of Experts to Mixture of Agents … with Super Fast Inference
Связка готовых LLM в слоях (Mixture of Agents) по словам авторов решает сложные задачи лучше одиночной модели, если инференс достаточно быстрый.
- Агенты вместо экспертов внутри модели — готовые модели с разными системными промптами отвечают параллельно внутри слоя, а следующий слой получает их ответы как вход. Качество растёт за счёт числа вызовов, а не переобучения.
- Больше агентов не значит лучше — лишние агенты дают избыточность: их ответы не попадают в итог, но добавляют задержку. Результат зависит от подбора моделей, числа слоёв, температуры и промптов, поэтому из коробки это работает плохо.
- Скорость как условие применимости — по словам авторов, стартап NinjaTech решил задачу AIME, на которую reasoning-модели тратили 293 секунды, примерно за 7 секунд, сделав около 32 вызовов LLM.
- Память рядом с ядрами — часть доклада посвящена презентации Cerebras: по описанию спикеров, веса лежат в памяти рядом с каждым из 900 тысяч ядер, между чипами передаются только активации. По заявлению компании, энергопотребление около трети GPU на эквивалентной нагрузке.
Кому полезно: тем, кто решает, стоит ли тратить задержку и токены на несколько вызовов LLM вместо одной reasoning-модели.
Статья по теме
На какие вопросы отвечает доклад
Как увеличить число параметров модели, не замедляя инференс?
Mixture of Experts заменяет одну feed-forward сеть набором экспертов, а router для каждого токена активирует только часть из них. Модель получает больше параметров при том же числе активных, и качество растёт без роста времени ответа.
▶ 5:07Оборудование Cerebras и эффективные архитектуры моделейКак заменить один долгий reasoning-запрос несколькими моделями, чтобы ответ приходил за секунды?
В Mixture of Agents несколько LLM с разными system prompt отвечают параллельно, а итоговая модель сводит их ответы. По словам авторов, стартап NinjaTech решил задачу из AIME за 7,4 секунды, а у o3 ушло 293 секунды.
▶ 12:17Знакомство со смесью агентов и быстрым inferenceКак устроить несколько слоёв агентов, если каждый слой зависит от предыдущего?
Слои выполняются последовательно, а модели внутри слоя работают параллельно. Выходы слоя объединяются и подаются на вход следующему, а финальная summarization-модель собирает итоговый ответ.
▶ 20:15Настройка API на практике, развёртывание на GitHub и StreamlitСтоит ли добавлять агентов в ансамбль, если часть из них даёт неверные ответы?
Лишние агенты создают избыточность: часть из них не попадает в итоговый ответ, а время ответа растёт. Поэтому число агентов стоит подбирать под задачу.
▶ 38:00Вопросы и ответы, архитектуры моделей и завершениеПочему ансамбль моделей работает хуже ожидаемого и что в нём нужно настраивать?
Качество зависит от настройки: prompt каждого агента, выбор моделей, число слоёв и temperature. Mixture of Agents не работает из коробки, его нужно настраивать под конкретную задачу, так как обучения здесь нет.
▶ 38:00Вопросы и ответы, архитектуры моделей и завершениеПочему инференс больших моделей на чипе Cerebras быстрее, чем на GPU?
Веса и KV cache хранятся в памяти рядом с каждым вычислительным ядром, поэтому не нужно ждать подгрузки данных из внешней памяти. Между чипами передаются только активации, что снимает узкое место при росте модели.
▶ 12:17Знакомство со смесью агентов и быстрым inference
Главы
Ещё доклады: Daniel Kim
Страница спикера →Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Похожие доклады
Введение в serving LLM с SGLang
AI Engineer World's Fair 2025
Близко по содержанию
Инференс LLM в больших масштабах
Близко по содержанию
Что делает открытые модели быстрыми в production
AI Engineer Code 2025
Близко по содержанию


