· AI Engineer World's Fair 2024
Запуск AI-приложения за минуты: быстрый старт с AI-шаблонами
Running AI Application in Minutes: Quick Start with AI Templates
Готовые шаблоны Azure Developer CLI позволяют развернуть RAG-приложение за минуты, а без evals на сотнях примеров судить о качестве промпта нельзя.
- Деплой одной командой —
azd upчерез Bicep создаёт Azure Container Apps, container registry и Log Analytics, а затем выкатывает код. В пробной подписке на один регион допускается одно container app. - Chunking по токенам — для документов не на английском режьте по токенам, а не по символам: тысячесимвольный чанк на китайском легко превышает context window. Спикер берёт чанки около 500 токенов.
- Hybrid search с semantic ranker — по словам спикера, в его тестах чистый векторный поиск уступал полнотекстовому, а лучшим оказался hybrid search с semantic ranker, хоть и на пару процентов.
- Evals перед продакшеном — спикер называет минимумом около 200 примеров, сравнивает прогоны между собой, а не смотрит на средний балл, и кэширует ответы LLM, потому что GPT-метрики медленные и дорогие.
Кому полезно: тем, кто строит RAG по документам или таблицам на Azure; раздел про evals и chunking применим и вне Azure.
Статья по теме
На какие вопросы отвечает доклад
Почему поиск только по векторам даёт худшие ответы RAG, чем поиск по тексту?
Векторные результаты добавляют шум, и гибрид с векторами без ранжирования может уступать текстовому поиску. Лучший результат по замерам авторов дал гибридный поиск с семантическим ранкером.
▶ 55:50Azure Developer CLI, evals, гибридный поиск и подводные камни vector searchКак проверить качество RAG, если на нескольких удачных примерах всё работает?
Прогонять оценку минимум на примерно двухстах вопросах с эталонными ответами: groundedness и relevance считает LLM, а совпадение цитат проверяется регулярным выражением. Сравнивать нужно изменения между прогонами по отдельным ответам, а не только по средним.
▶ 55:50Azure Developer CLI, evals, гибридный поиск и подводные камни vector searchКак резать документы на чанки, если текст не на английском?
Резать по токенам, а не по символам: для китайских документов чанк в тысячу символов занимает слишком много токенов и быстро выходит за context window. Типичный размер чанка около 500 токенов.
▶ 41:42Чат с продуктом, ограничения на контекст документов и шаблоны RAGПочему нельзя отправить в LLM весь длинный PDF целиком?
Документ может не поместиться в context window, а модель начинает терять информацию из середины длинного контекста. Поэтому текст извлекают, режут на чанки и передают только самые релевантные.
▶ 41:42Чат с продуктом, ограничения на контекст документов и шаблоны RAGКак развернуть LLM-приложение в Azure одной командой вместе с инфраструктурой?
Команда azd up создаёт ресурсы по описанию на Bicep и выкладывает код в Container Apps. Настройки деплоя хранятся отдельно от локального .env.
▶ 28:24System prompt, локальная разработка и настройка развертывания в AzureПочему локальные модели через Ollama плохо справляются с цитатами в RAG?
Модели от 3B до 7B отвечают по смыслу, но нестабильно ставят цитаты в квадратных скобках, поэтому кликабельные ссылки не строятся. По словам спикера, рабочих локальных моделей для RAG он пока не нашёл.
▶ 1:11:52Встроенный чат Copilot и итоги воркшопа
Главы
Ещё доклады: Harald Kirschner
Все 6 докладов →Как VS Code перешёл с ежемесячных релизов на еженедельные с помощью AI
Vibe coding в масштабе: настройка ИИ-ассистентов для корпоративной среды
AI Engineer World's Fair 2025
Vibe coding в масштабе: адаптация ИИ-ассистентов для корпоративной среды
AI Engineer World's Fair 2025
Ещё доклады: Pamela Fox
Страница спикера →Практикум по смене моделей: GPT-5.5 против Kimi, DeepSeek и Mistral
AI Engineer World's Fair 2026
Запуск AI-приложения за минуты: быстрый старт с AI-шаблонами
Pamela Fox, Gabriela de Queiroz, Aishwarya Srinivasan
AI Engineer World's Fair 2024
Похожие доклады
RAG в масштабе: готовые к production GenAI-приложения с Azure AI Search
AI Engineer World's Fair 2024
Близко по содержанию
[Воркшоп по evals] Оценка AI: от playground до production
AI Engineer World's Fair 2025
Близко по содержанию
Создание корпоративных приложений генеративного ИИ на Llama-3 со скоростью 1 000 токенов/с на платформе SambaNova
Rachelle Mattern, Petro Junior Milan, Varun Badrinath Krishna
AI Engineer World's Fair 2024
Близко по содержанию
GitHub Copilot — самый массово используемый AI-инструмент для разработчиков
Harald Kirschner, Dave Burnison, Alex Malebranche, Christina Warren, Dimitrios Philliou
AI Engineer World's Fair 2024
Тот же спикер: Harald Kirschner



