· AI Engineer World's Fair 2025
Как превратить LLM-приложение в эксперта предметной области: создание экспертной системы на базе LLM
Make your LLM app a Domain Expert: How to Build an LLM-Native Expert System
Точность медицинского LLM-продукта растёт за счёт системы, где клиницисты размечают ошибки по типам и превращают их в датасеты для итераций.
- Таксономия ошибок — спикер делит сбои на три категории: извлечение данных из медкарты, клиническое рассуждение и интерпретация правил. Таксономию должны вести эксперты домена, а не люди, которые смотрят выходы модели в отрыве от контекста.
- Приоритет по главной метрике — для страховщиков это число ложных одобрений. Сортировка типов ошибок по этой метрике показывает, какой сбой чинить первым.
- Датасеты из продакшена — разметка даёт готовые наборы реальных кейсов с одним типом ошибки, например 100 кейсов за неделю. По словам авторов, точность выросла с 95% до 99%, а регрессии по другим типам видны на каждой версии пайплайна.
- Доменное знание как правка — клиницист может предложить добавить в пайплайн знание, например как трактовать «подозрение» на состояние. Такое изменение проверяется evals и может выйти в продакшен в тот же день.
Кому полезно: тем, кто строит LLM-продукт в регулируемой нише, где ошибка дорога, и нужен способ добирать последние проценты точности.
Статья по теме
Главы
Ещё доклады: Christopher Lovejoy
Страница спикера →Почему ваш корпоративный стек не готов к AI-агентам — и что нужно построить вместо него
Christopher Lovejoy, Saul Howard
AI Engineer World's Fair 2026
Критически важные evals в масштабе: выводы из 100 000 медицинских решений
AI Engineer Summit 2025
Как использовать предметную экспертизу
AI Engineer Europe 2026
Похожие доклады
Не испытывайте дефицита данных
AI Engineer World's Fair 2026
Близко по содержанию
От фоновой документации к клиническому интеллекту
AI Engineer World's Fair 2026
Близко по содержанию

