← Каталог

· AI Engineer World's Fair 2026

Как внедрить AI для миллиона пациентов без A/B-тестирования

Shipping AI to a Million Patients Without an A/B Test

Клинического голосового агента можно безопасно выводить к пациентам только после симуляции с LLM-пациентами, потому что A/B-тест и откат здесь не работают.

  • Симуляция вместо реакции на инциденты — фреймворк MATRIX генерирует разговоры с LLM-пациентом PathBot, а LLM-судья BevJudge выносит вердикт по каждому разговору относительно заранее заданных опасных сценариев. По словам авторов, судья на 240 примерах работает на уровне экспертов-клиницистов, F1 около 0,96.
  • Реалистичность симулированного пациента — в PPI-исследовании с реальными пациентами в трёх из четырёх наборов большинство сочли симулированного пациента более реалистичным. Авторы считают, что нужны разные персоны, а не один «типичный» пациент.
  • Асимметричная награда при оптимизации промпта — пропущенный красный флаг штрафуется сильнее ложного срабатывания, а оптимизатор GEPA подбирает промпт примерно за 30–60 минут вместо ручной правки, которая занимала часы или дни.

Кому полезно: тем, кто выводит голосовых агентов в продакшен в медицине или другой регулируемой области и должен доказать безопасность до первого живого разговора.

Статья по теме

Главы

Похожие доклады