← Каталог

· AI Engineer World's Fair 2026

Разработка на основе evals: как этично и безопасно создать ИИ-коуча по психическому здоровью

Evals Driven-Development: Engineering a Mental Health AI Coach Ethically & Safely

Безопасность AI-коуча для психического здоровья, по словам авторов, держится на клинически размеченных evals и отдельных LLM-as-a-judge проверках, а не на общей модерации.

  • Отдельные судьи на входе и выходе — guardrails вынесены из Sonder Core в отдельные LLM-as-a-judge вызовы. По словам авторов, их сложнее обойти уговорами, но цена таких проверок — задержка и стоимость.
  • Правильный ответ определяет клиницист — аннотации психолога превращаются в evals с ожидаемым наблюдением и номером хода в диалоге. Весь набор прогоняется в CI при каждом изменении промпта, модели или guardrail.
  • Больше точных срабатываний, а не больше — в явном кризисе Sonder показывает ресурсы и прекращает диалог, а при рассказе о прошлом насилии показывает ресурсы и продолжает разговор, если пользователь готов.
  • Открытые датасеты — 200 сценариев для input guardrails и 100 для output guardrails, проверенных клиницистами. Авторы также отключили встроенные guardrails провайдеров моделей, которые, по их словам, блокировали почти всё.

Кому полезно: тем, кто строит AI-продукт на чувствительной теме и думает, как проверять guardrails без опоры на общую модерацию.

Статья по теме

На какие вопросы отвечает доклад

  • Как построить guardrails вокруг LLM-ассистента в чувствительной области, например в психическом здоровье?

    Input и output guardrails обрамляют основное ядро Sonder Core. Каждый проверяется отдельным LLM-as-a-judge вызовом, что сложнее обойти промптами, но добавляет задержку и стоимость. Модульность позволяет менять ядро без ослабления безопасности.

    ▶ 3:00Sonder Core, модульные guardrails и компромиссы при использовании LLM-as-a-judge
  • Как не блокировать нормальные сообщения пользователей, когда guardrails срабатывают слишком часто?

    Цель, по словам авторов, не в большем числе срабатываний, а в большем числе точных. При активном кризисе ассистент показывает ресурсы и выходит из диалога, при прошлой травме показывает ресурсы и продолжает, а обычные темы проходят в ядро без вмешательства.

    ▶ 6:08Клинический контекст, эскалация кризисных ситуаций и более безопасные меры поддержки
  • Как поймать скрытый суицидальный риск, который не видят regex и общая модерация?

    Клиницист размечает трейсы разговоров: указывает ожидаемое поведение и момент, когда должен был сработать guardrail. Эти разметки превращаются в типизированные evals и проверяются при каждом изменении промпта, модели или guardrail.

    ▶ 9:15Оценка с участием клиницистов и общие базовые требования к безопасности
  • Как проверять guardrails перед релизом, чтобы изменения промптов не сломали безопасность?

    Размеченные сценарии с категориями и моментом срабатывания определяют, можно ли выпускать релиз: проверяется, сработал ли ожидаемый сигнал, верная ли категория и вовремя ли он сработал. Ложные срабатывания и пропуски учитываются оба.

    ▶ 9:15Оценка с участием клиницистов и общие базовые требования к безопасности
  • Почему встроенная модерация моделей блокирует психологические запросы и как от неё уйти?

    По словам авторов, встроенные guardrails фронтирных моделей переусилены и отфильтровывали почти все тестовые сценарии. Команда отключила их и написала собственные, стремясь к меньшему запасу срабатываний.

    ▶ 18:24Вопросы и ответы, завершение
  • Где взять размеченные сценарии для проверки safety-фильтров психологического AI-ассистента?

    Авторы открыли датасеты: двести сценариев для input guardrails и сто для output guardrails, с одно- и многоходовыми диалогами, проверенные клиницистами.

    ▶ 9:15Оценка с участием клиницистов и общие базовые требования к безопасности

Главы

Похожие доклады