← Каталог

· AI Engineer World's Fair 2024

Запуск Hypermode

Hypermode Launch

Дешёвая замена модели и промпта возможна, если AI-вызовы идут через тот же API, что и обычный код, а каждый шаг трассируется.

  • Общий API для классики и AI — модели и данные подключаются к AI-функциям так же, как обычные сервисы, а каждый inference-шаг можно проследить. По словам авторов, это позволяет менять промпты, стратегии и наборы данных без страха что-то сломать.
  • RAG в одном запросе — embedding и поиск работают во встроенном сервисе внутри runtime, поэтому не нужны отдельные запросы к модели эмбеддингов и векторному хранилищу. По словам спикера, это экономит пару сотен миллисекунд на запрос.
  • Сравнение моделей и сбор датасета — ответы разных моделей и тюнов сравниваются рядом, а набор данных экспортируется для fine-tuning.
  • Подсказки параметров в редакторе — допустимые диапазоны, например температуры, видны прямо в редакторе кода без SDK и чтения документации.

Кому полезно: тем, кто хочет поэтапно добавлять AI в существующее приложение. Доклад в основном рассказывает о продукте Hypermode, а инженерные идеи про трассировку и RAG в одном запросе можно забрать и без него.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады