← Каталог

· AI Engineer World's Fair 2024

Создание, оценка и развёртывание ритейл-копилота на базе RAG с Azure AI

Build, Evaluate and Deploy a RAG-based retail copilot with Azure AI

Бэкенд RAG-чатбота для интернет-магазина собирается в Prompt flow на Azure, а качество его ответов проверяется автоматически: GPT-4 как судья ловит выдуманные товары.

  • Граф из RAG-шагов — Prompt flow задаёт DAG: вопрос встраивается, товары ищутся в Azure AI Search, данные клиента берутся из Cosmos DB, и всё собирается в один промпт. Все узлы графа выполняются всегда, условного ветвления нет, поэтому условия пишутся внутри Python-кода узла.
  • Данные клиента через флоу — приложение не ходит в базу напрямую, флоу получает идентификатор пользователя и сам запрашивает историю заказов. Спикеры отметили, что флоу работает с привилегированной учётной записью, а передача прав пользователя в запрос остаётся открытым вопросом.
  • Оценка через сильную модель — GPT-4 по шкале от 0 до 5 оценивает обоснованность, релевантность, связность и беглость ответов GPT-3.5. На запросе про несуществующую зубную щётку модель выдумала товар, и обоснованность получила 1 балл.

Кому полезно: тем, кто строит ассистента по каталогу товаров и хочет тестировать его ответы до продакшена.

Статья по теме

Главы

Ещё доклады: Cedric Vidal

Страница спикера →

Похожие доклады