· AI Engineer World's Fair 2026
Как внедрить AI для миллиона пациентов без A/B-тестирования
Shipping AI to a Million Patients Without an A/B Test
Клинического голосового агента можно безопасно выводить к пациентам только после симуляции с LLM-пациентами, потому что A/B-тест и откат здесь не работают.
- Симуляция вместо реакции на инциденты — фреймворк MATRIX генерирует разговоры с LLM-пациентом PathBot, а LLM-судья BevJudge выносит вердикт по каждому разговору относительно заранее заданных опасных сценариев. По словам авторов, судья на 240 примерах работает на уровне экспертов-клиницистов, F1 около 0,96.
- Реалистичность симулированного пациента — в PPI-исследовании с реальными пациентами в трёх из четырёх наборов большинство сочли симулированного пациента более реалистичным. Авторы считают, что нужны разные персоны, а не один «типичный» пациент.
- Асимметричная награда при оптимизации промпта — пропущенный красный флаг штрафуется сильнее ложного срабатывания, а оптимизатор GEPA подбирает промпт примерно за 30–60 минут вместо ручной правки, которая занимала часы или дни.
Кому полезно: тем, кто выводит голосовых агентов в продакшен в медицине или другой регулируемой области и должен доказать безопасность до первого живого разговора.
Статья по теме
Главы
Похожие доклады
Не испытывайте дефицита данных
AI Engineer World's Fair 2026
Близко по содержанию
От фоновой документации к клиническому интеллекту
AI Engineer World's Fair 2026
Близко по содержанию
ИИ, который приносит доход: уроки управления финансовыми потоками в здравоохранении
AI Engineer World's Fair 2025
Близко по содержанию
Могут ли онкологические процессы работать без участия человека?
AI Engineer World's Fair 2026
Близко по содержанию

