← Каталог

· AI Engineer World's Fair 2025

Как превратить LLM-приложение в эксперта предметной области: создание экспертной системы на базе LLM

Make your LLM app a Domain Expert: How to Build an LLM-Native Expert System

Точность медицинского LLM-продукта растёт за счёт системы, где клиницисты размечают ошибки по типам и превращают их в датасеты для итераций.

  • Таксономия ошибок — спикер делит сбои на три категории: извлечение данных из медкарты, клиническое рассуждение и интерпретация правил. Таксономию должны вести эксперты домена, а не люди, которые смотрят выходы модели в отрыве от контекста.
  • Приоритет по главной метрике — для страховщиков это число ложных одобрений. Сортировка типов ошибок по этой метрике показывает, какой сбой чинить первым.
  • Датасеты из продакшена — разметка даёт готовые наборы реальных кейсов с одним типом ошибки, например 100 кейсов за неделю. По словам авторов, точность выросла с 95% до 99%, а регрессии по другим типам видны на каждой версии пайплайна.
  • Доменное знание как правка — клиницист может предложить добавить в пайплайн знание, например как трактовать «подозрение» на состояние. Такое изменение проверяется evals и может выйти в продакшен в тот же день.

Кому полезно: тем, кто строит LLM-продукт в регулируемой нише, где ошибка дорога, и нужен способ добирать последние проценты точности.

Статья по теме

Главы

Ещё доклады: Christopher Lovejoy

Страница спикера →

Похожие доклады