← Каталог

· AI Engineer World's Fair 2024

Запуск AI-приложения за минуты: быстрый старт с AI-шаблонами

Running AI Application in Minutes: Quick Start with AI Templates

Готовые шаблоны Azure Developer CLI позволяют развернуть RAG-приложение за минуты, а без evals на сотнях примеров судить о качестве промпта нельзя.

  • Деплой одной командой — azd up через Bicep создаёт Azure Container Apps, container registry и Log Analytics, а затем выкатывает код. В пробной подписке на один регион допускается одно container app.
  • Chunking по токенам — для документов не на английском режьте по токенам, а не по символам: тысячесимвольный чанк на китайском легко превышает context window. Спикер берёт чанки около 500 токенов.
  • Hybrid search с semantic ranker — по словам спикера, в его тестах чистый векторный поиск уступал полнотекстовому, а лучшим оказался hybrid search с semantic ranker, хоть и на пару процентов.
  • Evals перед продакшеном — спикер называет минимумом около 200 примеров, сравнивает прогоны между собой, а не смотрит на средний балл, и кэширует ответы LLM, потому что GPT-метрики медленные и дорогие.

Кому полезно: тем, кто строит RAG по документам или таблицам на Azure; раздел про evals и chunking применим и вне Azure.

Статья по теме

На какие вопросы отвечает доклад

  • Почему поиск только по векторам даёт худшие ответы RAG, чем поиск по тексту?

    Векторные результаты добавляют шум, и гибрид с векторами без ранжирования может уступать текстовому поиску. Лучший результат по замерам авторов дал гибридный поиск с семантическим ранкером.

    ▶ 55:50Azure Developer CLI, evals, гибридный поиск и подводные камни vector search
  • Как проверить качество RAG, если на нескольких удачных примерах всё работает?

    Прогонять оценку минимум на примерно двухстах вопросах с эталонными ответами: groundedness и relevance считает LLM, а совпадение цитат проверяется регулярным выражением. Сравнивать нужно изменения между прогонами по отдельным ответам, а не только по средним.

    ▶ 55:50Azure Developer CLI, evals, гибридный поиск и подводные камни vector search
  • Как резать документы на чанки, если текст не на английском?

    Резать по токенам, а не по символам: для китайских документов чанк в тысячу символов занимает слишком много токенов и быстро выходит за context window. Типичный размер чанка около 500 токенов.

    ▶ 41:42Чат с продуктом, ограничения на контекст документов и шаблоны RAG
  • Почему нельзя отправить в LLM весь длинный PDF целиком?

    Документ может не поместиться в context window, а модель начинает терять информацию из середины длинного контекста. Поэтому текст извлекают, режут на чанки и передают только самые релевантные.

    ▶ 41:42Чат с продуктом, ограничения на контекст документов и шаблоны RAG
  • Как развернуть LLM-приложение в Azure одной командой вместе с инфраструктурой?

    Команда azd up создаёт ресурсы по описанию на Bicep и выкладывает код в Container Apps. Настройки деплоя хранятся отдельно от локального .env.

    ▶ 28:24System prompt, локальная разработка и настройка развертывания в Azure
  • Почему локальные модели через Ollama плохо справляются с цитатами в RAG?

    Модели от 3B до 7B отвечают по смыслу, но нестабильно ставят цитаты в квадратных скобках, поэтому кликабельные ссылки не строятся. По словам спикера, рабочих локальных моделей для RAG он пока не нашёл.

    ▶ 1:11:52Встроенный чат Copilot и итоги воркшопа

Главы

Ещё доклады: Harald Kirschner

Все 6 докладов →

Ещё доклады: Pamela Fox

Страница спикера →

Похожие доклады