· AI Engineer World's Fair 2026
Guardrails прежде всего: создание медицинского AI для участников программы
Guardrails First: Engineering Member-Facing Health AI
Безопасность медицинского AI, с которым напрямую общаются пользователи, задаётся архитектурой, а не промптом.
- PHI удаляется на входе — персональные данные вычищаются при ингестии, до data lake, поэтому разработчик, открывший дашборд, просто не находит PHI. Продакшен и не-продакшен окружения не связаны ни одним каналом.
- Эскалация в коде — при упоминании суицида или острой неотложной ситуации маршрут выбирает детерминированный код до запуска модели, и модель этот ход не видит. По той же схеме решаются маршрутизация запроса и проверка личности пользователя.
- Мониторинг вместо разовой оценки — автоматические судьи с десятками измерений, таких как clinical accuracy, safety и drift, оценивают живой трафик. Их дополняют оценки thumbs up и thumbs down от пользователей и выборка трасс, где рискованные случаи проверяются на 100%.
- Сначала судья, потом агент — при падении оценки clinical accuracy спикер советует сначала проверить самого судью. В примере с кофеином судья ошибочно принял клинический контекст за галлюцинацию, и исправлять нужно было его промпт, а не ответ агента.
Кому полезно: тем, кто выводит в продакшен чат-ботов для пациентов или другие регулируемые сценарии, где ошибка модели может навредить человеку.
Статья по теме
Главы
Похожие доклады
Как создавать надёжный ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Критически важные evals в масштабе: выводы из 100 000 медицинских решений
AI Engineer Summit 2025
Близко по содержанию
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
AI Engineer World's Fair 2024
Близко по содержанию
Внутри 847 клинических AI-заметок из продакшена
AI Engineer World's Fair 2026
Близко по содержанию

