· AI Engineer World's Fair 2026
Разработка на основе evals: как этично и безопасно создать ИИ-коуча по психическому здоровью
Evals Driven-Development: Engineering a Mental Health AI Coach Ethically & Safely
Безопасность AI-коуча для психического здоровья, по словам авторов, держится на клинически размеченных evals и отдельных LLM-as-a-judge проверках, а не на общей модерации.
- Отдельные судьи на входе и выходе — guardrails вынесены из Sonder Core в отдельные LLM-as-a-judge вызовы. По словам авторов, их сложнее обойти уговорами, но цена таких проверок — задержка и стоимость.
- Правильный ответ определяет клиницист — аннотации психолога превращаются в evals с ожидаемым наблюдением и номером хода в диалоге. Весь набор прогоняется в CI при каждом изменении промпта, модели или guardrail.
- Больше точных срабатываний, а не больше — в явном кризисе Sonder показывает ресурсы и прекращает диалог, а при рассказе о прошлом насилии показывает ресурсы и продолжает разговор, если пользователь готов.
- Открытые датасеты — 200 сценариев для input guardrails и 100 для output guardrails, проверенных клиницистами. Авторы также отключили встроенные guardrails провайдеров моделей, которые, по их словам, блокировали почти всё.
Кому полезно: тем, кто строит AI-продукт на чувствительной теме и думает, как проверять guardrails без опоры на общую модерацию.
Статья по теме
На какие вопросы отвечает доклад
Как построить guardrails вокруг LLM-ассистента в чувствительной области, например в психическом здоровье?
Input и output guardrails обрамляют основное ядро Sonder Core. Каждый проверяется отдельным LLM-as-a-judge вызовом, что сложнее обойти промптами, но добавляет задержку и стоимость. Модульность позволяет менять ядро без ослабления безопасности.
▶ 3:00Sonder Core, модульные guardrails и компромиссы при использовании LLM-as-a-judgeКак не блокировать нормальные сообщения пользователей, когда guardrails срабатывают слишком часто?
Цель, по словам авторов, не в большем числе срабатываний, а в большем числе точных. При активном кризисе ассистент показывает ресурсы и выходит из диалога, при прошлой травме показывает ресурсы и продолжает, а обычные темы проходят в ядро без вмешательства.
▶ 6:08Клинический контекст, эскалация кризисных ситуаций и более безопасные меры поддержкиКак поймать скрытый суицидальный риск, который не видят regex и общая модерация?
Клиницист размечает трейсы разговоров: указывает ожидаемое поведение и момент, когда должен был сработать guardrail. Эти разметки превращаются в типизированные evals и проверяются при каждом изменении промпта, модели или guardrail.
▶ 9:15Оценка с участием клиницистов и общие базовые требования к безопасностиКак проверять guardrails перед релизом, чтобы изменения промптов не сломали безопасность?
Размеченные сценарии с категориями и моментом срабатывания определяют, можно ли выпускать релиз: проверяется, сработал ли ожидаемый сигнал, верная ли категория и вовремя ли он сработал. Ложные срабатывания и пропуски учитываются оба.
▶ 9:15Оценка с участием клиницистов и общие базовые требования к безопасностиПочему встроенная модерация моделей блокирует психологические запросы и как от неё уйти?
По словам авторов, встроенные guardrails фронтирных моделей переусилены и отфильтровывали почти все тестовые сценарии. Команда отключила их и написала собственные, стремясь к меньшему запасу срабатываний.
▶ 18:24Вопросы и ответы, завершениеГде взять размеченные сценарии для проверки safety-фильтров психологического AI-ассистента?
Авторы открыли датасеты: двести сценариев для input guardrails и сто для output guardrails, с одно- и многоходовыми диалогами, проверенные клиницистами.
▶ 9:15Оценка с участием клиницистов и общие базовые требования к безопасности
Главы
Похожие доклады
Guardrails прежде всего: создание медицинского AI для участников программы
AI Engineer World's Fair 2026
Близко по содержанию
Внутри 847 клинических AI-заметок из продакшена
AI Engineer World's Fair 2026
Близко по содержанию
Основы безопасности ИИ для инженеров + сертификат
AI Engineer World's Fair 2026
Близко по содержанию
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
AI Engineer World's Fair 2024
Близко по содержанию



