← Каталог

· AI Engineer Summit 2023

Основные компоненты систем и продуктов на базе LLM

Building Blocks for LLM Systems & Products

Для LLM-продуктов стоит начать с автоматических evals на 30–100 примерах своей задачи, потому что публичные бенчмарки вроде MMLU плохо описывают вашу задачу.

  • Evals на своей задаче — спикер советует размечать 30–100 примеров и там, где ответ можно проверить, использовать выполнение SQL или проверку ключей JSON вместо дорогого LLM-судьи для открытых ответов.
  • Порядок документов в RAG — по приведённому эксперименту, если нужный документ стоит в середине контекста из двадцати фрагментов, точность ниже, чем без retrieval вовсе; ранжирование важно и при большом context window.
  • Проверка галлюцинаций по предложениям — NLI-классификация, где документ служит посылкой, а саммари гипотезой, точнее находит ошибки, если проверять каждое предложение, а не текст целиком.
  • Фидбек из действий пользователя — клик по кнопке копирования кода шумный, поэтому спикер предлагает смотреть на более сильные действия: в Midjourney перезапуск промпта он считает негативным сигналом, вариацию слабым позитивом, а upscale сильным.

Кому полезно: тем, кто строит evals и RAG для LLM-продукта в продакшене и не знает, с чего начать проверку качества.

Статья по теме

Главы

Ещё доклады: Eugene Yan

Все 4 доклада →

Похожие доклады