← Каталог

· AI Engineer World's Fair 2026

Внутри 847 клинических AI-заметок из продакшена

Inside 847 Production Clinical AI Notes — Sebastian Fox, Composo

Статичные рубрики не отличают безобидные правки клинической заметки от опасных, и оценку лучше строить из размеченных экспертами случаев, которые подбираются под каждый вывод.

  • Опасные ошибки без видимого сбоя — у трёх продакшен AI-скрайбов почти все ошибки высокой важности автоматические проверки не ловили: добавленный признак, которого пациент не называл, или план, противоположный решённому на приёме, выглядят в заметке как обычный текст.
  • Сильный судья тоже пропускает — по словам спикера, примерно каждая пятая заметка, прошедшая продвинутую систему оценки с подробной рубрикой и примерами, содержала серьёзную ошибку, чаще всего пропуск.
  • Экспертная логика вместо рубрики — для каждого вывода судье подаются похожие размеченные случаи, исправления экспертов и справочные документы, поэтому новая правка влияет на следующую оценку без переобучения модели.
  • Цикл из трёх шагов — типы ошибок выводятся из реальных ответов, комментарии экспертов фиксируются вместе с объяснениями, а каждый вывод калибруется по ним. По словам спикера, на том же наборе заметок такой судья работает заметно лучше двух базовых вариантов.

Кому полезно: тем, кто оценивает LLM в медицине или в других областях, где уверенная ошибка дорого стоит, и строит LLM-as-a-judge для проверки выводов.

Статья по теме

На какие вопросы отвечает доклад

  • Почему LLM-судья с фиксированными критериями пропускает опасные пропуски в ответах?

    Судья с детальными критериями и проверками одобрил часть заметок, и в каждой пятой из них осталась серьёзная ошибка, часто пропуск. Он не знает, какие расхождения важны в конкретном случае.

    ▶ 7:53Почему автоматическая проверка пропускает ошибки
  • Как превратить экспертные правки в систему оценки LLM без переобучения модели?

    Нужно находить режимы сбоя в реальных ответах, записывать экспертные рассуждения и правки, а для каждого ответа подтягивать похожие размеченные случаи и применимые правила в контекст судьи.

    ▶ 13:44Поиск ошибок, экспертные оценки и калибровка
  • Когда подбирать похожие примеры в контекст судьи выгоднее fine-tuning?

    Экспертные решения хранятся как примеры и подтягиваются под каждый ответ, поэтому при смене стандартов модель не переобучают. Причину оценки можно показать через конкретные примеры, которые на неё повлияли.

    ▶ 11:43Обучение на оценках экспертов
  • Какие ошибки делает LLM при составлении медицинских заметок, даже если расшифровка верная?

    Модель добавляет то, что пациент не говорил, например внезапное начало головной боли, или записывает план, который обсуждали, но не выбрали. Такие ошибки выглядят правдоподобно и трудно отличимы от безобидных правок.

    ▶ 3:39Ошибки AI-систем для медицинских записей

Главы

Похожие доклады