← Каталог

· AI Engineer Summit 2023

Поворот к ИИ

The AI Pivot: With Chris White of Prefect & Bryan Bischof of Hex

Встраивать AI в зрелый продукт стоит через конкретные пользовательские трения, а не через чат везде, и начинать с evals, а не с фич.

  • Evals до фич — Hex начал с вопроса про evals ещё в феврале и решил строить их сам, потому что eval должен быть максимально близок к продакшену. По словам спикера, сложные задачи удаётся свести к бинарным проверкам «да или нет», а BLEU и подобные метрики для выходов LLM работают плохо.
  • Build или buy — Hex не стал писать собственную векторную базу, а взял LanceDB и построил поверх неё свою retrieval-логику для RAG. По словам авторов, именно эта доработка снизила галлюцинации в Magic.
  • Отказ от отдельного интерфейса — Hex закрыл Crystal Ball, хотя продукт нравился, потому что он уводил пользователя из основной платформы. Magic задумали как дополнение к Hex, а не как отдельный продукт.
  • Маленькая команда — Hex держит около пяти инженеров при дорожной карте на двадцать, а Prefect выделил под AI одного инженера, который занимается этим полный рабочий день.

Кому полезно: тем, кто добавляет LLM-функции в существующий SaaS-продукт и решает, что строить самим, а что брать готовое.

Статья по теме

Главы

Похожие доклады