← Каталог

· AI Engineer World's Fair 2024

Отправьте код в Git — получите AI API

Git push, get an AI API.

AI-фичу можно собрать из функций, моделей и коллекций и выкатывать через git push, итерируя по одному блоку за раз.

  • Модель как часть проекта — предобученный на GitHub Issues классификатор DistilBERT разворачивается на платформе вместе с кодом, поэтому внешний API-ключ не нужен. Эмбеддинги для поиска похожих issue считаются при добавлении записи в коллекцию, и запрос использует тот же эмбеддер.
  • Единый интерфейс моделей — параметры вроде temperature и top-p задаются через типизированный клиент с подсказками редактора, а смена модели не требует изучать её API заново.
  • Функции как API — экспортированная функция автоматически получает GraphQL-эндпоинт, схема выводится из TypeScript-типов. Входные объекты пока не поддерживаются, входы должны быть скалярами или массивами.
  • Трассировка вызовов — в истории инференса видны вход, выход, время и число токенов, даже если токены в коде не используются.

Кому полезно: тем, кто добавляет AI-фичи в существующий продукт и хочет итерировать без собственной инфраструктуры для моделей. Доклад построен вокруг платформы Hypermode.

Статья по теме

Главы

Похожие доклады