← Каталог

· AI Engineer World's Fair 2024

Запуск AI-приложения за минуты: быстрый старт с AI-шаблонами

Running AI Application in Minutes: Quick Start with AI Templates

Открытые шаблоны RAG-приложений поднимают сервис на Azure за минуты, но качество ответов, по словам авторов, держится на гибридном поиске.

  • Гибридный поиск вместо одних векторов — векторный поиск всегда возвращает ближайшие результаты, даже далёкие и шумные, и LLM на них легко отвлекается. Спикер советует сочетать вектор с полнотекстовым поиском и ранжировать результаты через semantic ranker в Azure AI Search.
  • Замер groundedness — по цифрам спикера, текстовый поиск дал groundedness 4.87, а добавление векторов прибавило всего 0.02. Поэтому RAG стоит оценивать на своих данных, а не полагаться на эмбеддинги.
  • Переписывание запроса — отдельный вызов LLM превращает реплику пользователя в поисковый запрос, что важно в многоходовых диалогах. Через function calling модель может превратить фразу «альпинистское снаряжение дешевле тридцати долларов» в SQL-фильтр по цене.
  • Подготовка документов — PDF и DOCX разбираются через Azure Document Intelligence, режутся на фрагменты около 500 токенов и индексируются в Azure AI Search. Текст внутри картинок тоже извлекается, и в одном примере JavaScript из изображений испортил выдачу.

Кому полезно: тем, кто строит RAG по внутренним PDF, регламентам или каталогу товаров на Azure и хочет сравнить простой и продвинутый потоки.

Статья по теме

Главы

Ещё доклады: Pamela Fox

Страница спикера →

Похожие доклады