← Каталог

· AI Engineer World's Fair 2026

Guardrails прежде всего: создание медицинского AI для участников программы

Guardrails First: Engineering Member-Facing Health AI

Безопасность медицинского AI, с которым напрямую общаются пользователи, задаётся архитектурой, а не промптом.

  • PHI удаляется на входе — персональные данные вычищаются при ингестии, до data lake, поэтому разработчик, открывший дашборд, просто не находит PHI. Продакшен и не-продакшен окружения не связаны ни одним каналом.
  • Эскалация в коде — при упоминании суицида или острой неотложной ситуации маршрут выбирает детерминированный код до запуска модели, и модель этот ход не видит. По той же схеме решаются маршрутизация запроса и проверка личности пользователя.
  • Мониторинг вместо разовой оценки — автоматические судьи с десятками измерений, таких как clinical accuracy, safety и drift, оценивают живой трафик. Их дополняют оценки thumbs up и thumbs down от пользователей и выборка трасс, где рискованные случаи проверяются на 100%.
  • Сначала судья, потом агент — при падении оценки clinical accuracy спикер советует сначала проверить самого судью. В примере с кофеином судья ошибочно принял клинический контекст за галлюцинацию, и исправлять нужно было его промпт, а не ответ агента.

Кому полезно: тем, кто выводит в продакшен чат-ботов для пациентов или другие регулируемые сценарии, где ошибка модели может навредить человеку.

Статья по теме

Главы

Похожие доклады