← Каталог

· AI Engineer Summit 2023

AI Engineering 201: всё, что нужно вокруг модели

AI Engineering 201: The Rest of the Owl

Ценность LLM-продукта создают retrieval, структурированный вывод, мониторинг и evals вокруг инференса, а не сама модель.

  • Структурированный вывод — grammar-based sampling обнуляет вероятность токенов, которые нарушают формат, но в API OpenAI для этого нужен сетевой вызов на каждый токен, поэтому потоковая выдача ломается. Схему JSON можно применять и к вымышленной функции: библиотека Instructor так превращает ответ модели в классификацию, например «спам» или «не спам».
  • Retrieval — post-фильтрация по метаданным делается просто, а pre-фильтрация сложна, потому что влияет на построение индекса. Спикер советует сочетать keyword и vector search и извлекать метаданные через LLM для прямой фильтрации.
  • Мониторинг — смотреть надо на p99 задержки, а не на p90: пользователь делает много запросов подряд, и редкие медленные ответы попадаются ему регулярно.
  • Evals — если есть правильный ответ, эталон, предыдущая версия системы или обратная связь пользователей, оценка сводится к известным метрикам или сравнению. По словам спикера, GPT-4 как аннотатор работает примерно на уровне 90-го перцентиля краудворкеров, а GPT-3.5 Turbo — медианного.

Кому полезно: тем, кто строит RAG-чатбот или извлечение структуры из текста и думает, как проверять качество в продакшене.

Статья по теме

Главы

Ещё доклады: Charles Frye

Все 5 докладов →

Похожие доклады