← Каталог

· AI Engineer World's Fair 2025

От Mixture of Experts к Mixture of Agents — с молниеносным инференсом

From Mixture of Experts to Mixture of Agents … with Super Fast Inference

Связка готовых LLM в слоях (Mixture of Agents) по словам авторов решает сложные задачи лучше одиночной модели, если инференс достаточно быстрый.

  • Агенты вместо экспертов внутри модели — готовые модели с разными системными промптами отвечают параллельно внутри слоя, а следующий слой получает их ответы как вход. Качество растёт за счёт числа вызовов, а не переобучения.
  • Больше агентов не значит лучше — лишние агенты дают избыточность: их ответы не попадают в итог, но добавляют задержку. Результат зависит от подбора моделей, числа слоёв, температуры и промптов, поэтому из коробки это работает плохо.
  • Скорость как условие применимости — по словам авторов, стартап NinjaTech решил задачу AIME, на которую reasoning-модели тратили 293 секунды, примерно за 7 секунд, сделав около 32 вызовов LLM.
  • Память рядом с ядрами — часть доклада посвящена презентации Cerebras: по описанию спикеров, веса лежат в памяти рядом с каждым из 900 тысяч ядер, между чипами передаются только активации. По заявлению компании, энергопотребление около трети GPU на эквивалентной нагрузке.

Кому полезно: тем, кто решает, стоит ли тратить задержку и токены на несколько вызовов LLM вместо одной reasoning-модели.

Статья по теме

На какие вопросы отвечает доклад

  • Как увеличить число параметров модели, не замедляя инференс?

    Mixture of Experts заменяет одну feed-forward сеть набором экспертов, а router для каждого токена активирует только часть из них. Модель получает больше параметров при том же числе активных, и качество растёт без роста времени ответа.

    ▶ 5:07Оборудование Cerebras и эффективные архитектуры моделей
  • Как заменить один долгий reasoning-запрос несколькими моделями, чтобы ответ приходил за секунды?

    В Mixture of Agents несколько LLM с разными system prompt отвечают параллельно, а итоговая модель сводит их ответы. По словам авторов, стартап NinjaTech решил задачу из AIME за 7,4 секунды, а у o3 ушло 293 секунды.

    ▶ 12:17Знакомство со смесью агентов и быстрым inference
  • Как устроить несколько слоёв агентов, если каждый слой зависит от предыдущего?

    Слои выполняются последовательно, а модели внутри слоя работают параллельно. Выходы слоя объединяются и подаются на вход следующему, а финальная summarization-модель собирает итоговый ответ.

    ▶ 20:15Настройка API на практике, развёртывание на GitHub и Streamlit
  • Стоит ли добавлять агентов в ансамбль, если часть из них даёт неверные ответы?

    Лишние агенты создают избыточность: часть из них не попадает в итоговый ответ, а время ответа растёт. Поэтому число агентов стоит подбирать под задачу.

    ▶ 38:00Вопросы и ответы, архитектуры моделей и завершение
  • Почему ансамбль моделей работает хуже ожидаемого и что в нём нужно настраивать?

    Качество зависит от настройки: prompt каждого агента, выбор моделей, число слоёв и temperature. Mixture of Agents не работает из коробки, его нужно настраивать под конкретную задачу, так как обучения здесь нет.

    ▶ 38:00Вопросы и ответы, архитектуры моделей и завершение
  • Почему инференс больших моделей на чипе Cerebras быстрее, чем на GPU?

    Веса и KV cache хранятся в памяти рядом с каждым вычислительным ядром, поэтому не нужно ждать подгрузки данных из внешней памяти. Между чипами передаются только активации, что снимает узкое место при росте модели.

    ▶ 12:17Знакомство со смесью агентов и быстрым inference

Главы

Ещё доклады: Daniel Kim

Страница спикера →

Похожие доклады