← Каталог

· AI Engineer World's Fair 2024

Как создавать системы оценки LLM для конкретной предметной области

How to construct domain-specific LLM evaluation systems.

Оценки для LLM-приложения стоит строить из сбоев, найденных в собственных данных, а не начинать с готовых метрик и LLM-as-a-judge.

  • Assertions из реальных сбоев — unit tests на ошибки, которые команда увидела в трассах: неотправленное письмо, невалидные плейсхолдеры, повторяющиеся детали. Они почти бесплатны, поэтому их гоняют в существующем CI и пишут результаты в Metabase.
  • Просмотр данных без трения — команда Rechat сделала собственное приложение для просмотра и разметки трасс, потому что готовые инструменты мешали разбирать данные.
  • Синтетические запросы — LLM играет роль риелтора и задаёт ассистенту Lucy вопросы по всем функциям, чтобы набрать покрытие до появления пользователей.
  • Fine-tuning там, где промптов мало — по словам спикеров, few-shot не справился со смешиванием текста и UI-элементов, уточняющими вопросами и командами из пяти-шести инструментов.

Кому полезно: тем, кто выводит LLM-ассистента в продакшен и не понимает, не ломает ли правка промпта соседние сценарии.

Статья по теме

На какие вопросы отвечает доклад

Главы

Ещё доклады: Hamel Husain

Страница спикера →

Похожие доклады