← Каталог

· AI Engineer Summit 2023

Создание реактивных AI-приложений

Building Reactive AI Apps

AI.JSX позволяет собирать LLM-приложения как дерево React-подобных компонентов в TypeScript, где вложенные вызовы модели выполняются параллельно.

  • Композиция компонентов — обёртка одного компонента над другим ограничивает его вывод: компонент KidSafe переписывает любой вложенный результат в безопасный для детей текст. Дочерние компоненты запускаются параллельно, и три LLM-вызова отдают токены в родительский компонент потоком.
  • RAG и инструменты в коде — по словам автора, RAG собирается примерно в десять строк: DocsQA возвращает релевантные чанки прямо в системное сообщение ChatCompletion. Инструменты описываются записью с функцией, например вызовом GitHub GraphQL API, и подключаются через UseTools.
  • Голос с низкой задержкой — по словам автора, двусторонний голосовой диалог с агентом работает с задержкой заметно меньше паузы в четыре-пять секунд, которую он назвал у голосового режима ChatGPT. Демо записано заранее и подтверждает именно эту возможность.
  • Открытый код и платформа — AI.JSX открыт, его можно использовать без Fixie. Облачная платформа берёт на себя RAG-пайплайн, хранение диалогового состояния и хостинг.

Кому полезно: фронтенд- и фулстек-разработчикам, которые хотят строить LLM-функции в TypeScript без Python-бэкенда. Большая часть доклада посвящена платформе Fixie, а не самой библиотеке.

Статья по теме

Главы

Похожие доклады