· AI Engineer World's Fair 2024
Запуск Substrate: API для модульного AI
Substrate Launch: the API for modular AI
Выполнение многошаговой AI-системы как одного вычислительного графа, а не цепочки отдельных API-вызовов, по словам авторов, убирает сотни миллисекунд накладных расходов на каждом шаге.
- Накладные расходы на каждом шаге — каждый отдельный API-вызов проходит DNS, прокси и проверку баланса, и по словам спикера это добавляет сотни миллисекунд. Передача данных между узлами графа, по его словам, занимает микросекунды, поэтому онлайн-приложения с десятками узлов становятся реалистичными.
- Оптимизация всего графа — движок видит зависимости между задачами и может статически и динамически оптимизировать батчинг, кэширование, сетевое взаимодействие, конкурентность и физическое размещение на своём кластере.
- JSON для многошаговых цепочек — спикер называет JSON decoding одним из самых частых паттернов в системах из нескольких inference-вызовов. Автор заявляет, что JSON-режим платформы надёжнее и быстрее, но конкретных цифр не приводит.
- Легибельность и отладка — явные деревья решений позволяют проверять каждый шаг системы, что, по словам спикера, упрощает отладку, расширение и evals.
Кому полезно: тем, кто строит многошаговые AI-системы с десятками вызовов моделей и видит задержку от накладных расходов на каждом шаге.
Статья по теме
На какие вопросы отвечает доклад
Почему цепочка из нескольких вызовов модели легче отлаживать, чем один монолитный запрос?
По словам спикера, явная структура из нескольких шагов делает систему понятной: её проще отлаживать и расширять, а evals становятся проще, потому что решения видны на каждом шаге.
▶ 0:00Вступление к запуску и аргументы в пользу модульного ИИПочему каждый вызов модели в цепочке добавляет сотни миллисекунд задержки?
Каждый отдельный API-вызов тратит время на DNS, прокси, аутентификацию и проверку баланса. По словам спикера, передача данных между узлами графа внутри одной системы занимает микросекунды.
▶ 3:14Накладные расходы API, выполнение графа и декодирование JSONКак получать надёжный и быстрый JSON от модели в цепочке из нескольких вызовов?
JSON-декодирование спикер называет одним из самых частых паттернов в цепочках вызовов. По его словам, платформа вкладывалась в JSON mode, чтобы он был надёжным и быстрым.
▶ 3:14Накладные расходы API, выполнение графа и декодирование JSON
Главы
Похожие доклады
Укрощая кембрийский взрыв AI-оборудования
AI Engineer World's Fair 2026
Близко по содержанию
Что скрывается за API
AI Engineer Europe 2026
Близко по содержанию
Hyperspace: Больше узлов — всё, что нужно
AI Engineer World's Fair 2024
Близко по содержанию
Ключевой доклад: опыт разработки AI-приложений может быть лучше — почему и как мы создали Modal
AI Engineer Summit 2025
Близко по содержанию

