← Каталог

· AI Engineer World's Fair 2024

Запуск Substrate: API для модульного AI

Substrate Launch: the API for modular AI

Выполнение многошаговой AI-системы как одного вычислительного графа, а не цепочки отдельных API-вызовов, по словам авторов, убирает сотни миллисекунд накладных расходов на каждом шаге.

  • Накладные расходы на каждом шаге — каждый отдельный API-вызов проходит DNS, прокси и проверку баланса, и по словам спикера это добавляет сотни миллисекунд. Передача данных между узлами графа, по его словам, занимает микросекунды, поэтому онлайн-приложения с десятками узлов становятся реалистичными.
  • Оптимизация всего графа — движок видит зависимости между задачами и может статически и динамически оптимизировать батчинг, кэширование, сетевое взаимодействие, конкурентность и физическое размещение на своём кластере.
  • JSON для многошаговых цепочек — спикер называет JSON decoding одним из самых частых паттернов в системах из нескольких inference-вызовов. Автор заявляет, что JSON-режим платформы надёжнее и быстрее, но конкретных цифр не приводит.
  • Легибельность и отладка — явные деревья решений позволяют проверять каждый шаг системы, что, по словам спикера, упрощает отладку, расширение и evals.

Кому полезно: тем, кто строит многошаговые AI-системы с десятками вызовов моделей и видит задержку от накладных расходов на каждом шаге.

Статья по теме

На какие вопросы отвечает доклад

  • Почему цепочка из нескольких вызовов модели легче отлаживать, чем один монолитный запрос?

    По словам спикера, явная структура из нескольких шагов делает систему понятной: её проще отлаживать и расширять, а evals становятся проще, потому что решения видны на каждом шаге.

    ▶ 0:00Вступление к запуску и аргументы в пользу модульного ИИ
  • Почему каждый вызов модели в цепочке добавляет сотни миллисекунд задержки?

    Каждый отдельный API-вызов тратит время на DNS, прокси, аутентификацию и проверку баланса. По словам спикера, передача данных между узлами графа внутри одной системы занимает микросекунды.

    ▶ 3:14Накладные расходы API, выполнение графа и декодирование JSON
  • Как получать надёжный и быстрый JSON от модели в цепочке из нескольких вызовов?

    JSON-декодирование спикер называет одним из самых частых паттернов в цепочках вызовов. По его словам, платформа вкладывалась в JSON mode, чтобы он был надёжным и быстрым.

    ▶ 3:14Накладные расходы API, выполнение графа и декодирование JSON

Главы

Похожие доклады