← Каталог

· AI Engineer World's Fair 2024

Hyperspace: Больше узлов — всё, что нужно

Hyperspace: More Nodes Is All You Need

Запрос можно превращать в редактируемый DAG-план, который узлами исполняют разные модели, и пользователь правит план до запуска.

  • План как граф — модель выдаёт DAG в формате JSON, а каждый узел содержит название, описание задачи и ожидаемый результат, которые можно поправить вручную.
  • Контекст шага — узел формирует свой запрос из общей цели, локальной цели и результата предыдущего узла, поэтому цепочка не теряет нить.
  • Веб для LLM — Puppeteer загружает страницы, Beautiful Soup очищает HTML, а результат переводится в Markdown, который модели читают легче.
  • Разделение ролей моделей — Qwen2 Instruct отвечает за рассуждения, Llama 3 70B за суммаризацию; по словам спикера, это даёт более разнообразные ответы.

Кому полезно: тем, кто строит агентные планировщики с проверкой плана перед выполнением.

Статья по теме

На какие вопросы отвечает доклад

  • Как заставить LLM выдавать план задачи в виде графа зависимостей, который можно редактировать?

    Дообученная модель по запросу выдаёт план в формате DAG в JSON, а интерфейс на React Flow показывает узлы по мере поступления. Пользователь может менять заголовок, описание задачи и ожидаемый результат и добавлять узлы.

    ▶ 1:00Разнообразие моделей и DAG-based агентное планирование
  • Как превратить HTML веб-страниц в текст, удобный для LLM?

    Страницы загружаются через Puppeteer, затем Beautiful Soup преобразует HTML в Markdown, который модели читают проще.

    ▶ 2:06Web scraping и редактируемая оркестрация workflow
  • Как передавать результаты предыдущих шагов в запрос следующему шагу агентной цепочки?

    Запрос каждого узла собирается из общей цели, локальной задачи этого узла и результата предыдущего узла.

    ▶ 2:49Демонстрация продукта и HyperEngine V3
  • Стоит ли использовать разные модели для рассуждений и для суммаризации в одном пайплайне?

    Авторы берут Qwen2 Instruct для рассуждений и Llama 3 70B для суммаризации; по их словам, так получаются более разнообразные синтезированные ответы.

    ▶ 4:13Reasoning-модели, суммаризация и выполнение Python
  • Как выполнять Python-код, который сгенерировала модель, и показывать результат пользователю?

    Ответы с Python-кодом запускаются из интерфейса, а вывод автоматически открывается в терминале приложения.

    ▶ 4:13Reasoning-модели, суммаризация и выполнение Python

Главы

Похожие доклады