← Каталог

· AI Engineer Summit 2025

Критически важные evals в масштабе: выводы из 100 000 медицинских решений

Mission-Critical Evals at Scale: Learnings from 100,000 Medical Decisions

В медицинских решениях, где ошибка недопустима, выходы LLM стоит оценивать в продакшене без эталона: уверенность LLM-as-judge определяет, какие кейсы отправить на проверку людям.

  • Фиксированная доля ручной проверки не масштабируется — проверка половины из тысячи решений в день требует пяти клиницистов, а при десяти тысячах в день той же доли понадобилось бы уже пятьдесят.
  • Оценка без эталона в реальном времени — LLM-judge оценивает уверенность в правильности ответа, порог переводит её в предполагаемый верный ответ, и каждый кейс получает оценку до того, как его проверит человек.
  • Приоритизация проверок — уверенность комбинируется со стоимостью процедуры, риском смещения и историей ошибок, поэтому клиницисты сначала смотрят кейсы с наибольшей вероятностью ошибки.
  • Маршрутизация неуверенных кейсов — такие ответы уходят к более сильной модели, дежурному клиницисту или в дашборд клиента; по словам авторов, команда из менее чем десяти экспертов проверяет десятки тысяч кейсов, а F1 составляет почти 96%.

Кому полезно: тем, кто выводит LLM в продакшен в областях с дорогой ошибкой, например в медицине или страховании.

Статья по теме

На какие вопросы отвечает доклад

  • Почему ручная проверка ответов LLM перестаёт работать при росте объёма запросов?

    По словам спикера, проверка половины из 1000 решений в день требует пяти клиницистов, а при 100 000 решений даже выборка в 5% требует около 50 клиницистов. Фиксированная доля проверок не масштабируется.

    ▶ 2:16Scalpel, клиническая проверка и пределы ручного масштабирования
  • Как превратить правки экспертов в эталонные ответы для оценки LLM?

    Клиницисты пишут критику ответа и помечают его неверным; критика вместе с исходным ответом превращается в ground truth для офлайн-датасетов, которые делятся по типам состояний и сценариям.

    ▶ 2:16Scalpel, клиническая проверка и пределы ручного масштабирования
  • Как понять, какие ответы LLM нужно проверить человеку в первую очередь?

    Градация уверенности объединяется с контекстом: стоимостью процедуры, риском смещения и прошлыми частотами ошибок. Так случаи ранжируются по вероятности ошибки, и на проверку отправляются самые важные из них.

    ▶ 4:57Сегментированная оценка и LLM-as-a-judge без эталонных ответов
  • Как проверить, что LLM-судья согласуется с мнением экспертов-врачей?

    Решения системы сравниваются с проверками людей на тех же случаях, и считается согласованность. По словам спикера, после нескольких итераций она приблизилась к уровню согласованности между самими ревьюерами.

    ▶ 4:57Сегментированная оценка и LLM-as-a-judge без эталонных ответов
  • Как направлять неуверенные решения LLM на более сильную модель или к врачу?

    Неуверенные ответы уходят в пайплайн с более дорогими моделями, к дежурному клиницисту или в дашборд проверки клиента, а уверенные возвращаются клиенту сразу. Это позволяет соблюдать сроки ответа по SLA.

    ▶ 9:01Эскалация в рабочей среде, согласованность проверяющих и SLA для клиентов

Главы

Ещё доклады: Christopher Lovejoy

Страница спикера →

Похожие доклады