← Каталог

· AI Engineer World's Fair 2026

Создавайте AI-системы для осознанной оценки, а не одобрения

Build AI Systems for Discernment, Not Approval - Angel Ortmann Lee, Duolingo

Надзор человека над AI работает только тогда, когда интерфейс заставляет проверяющего искать независимые доказательства, а не нажимать «подтвердить».

  • Автоматический сигнал как предварительный — в эксперименте Duolingo English Test проверяющие приняли 50% заведомо ложных сигналов о списывании, хотя их точность превышала 90%. По словам автора, правка инструкции (сигнал предварительный, флаг подтверждается только доказательством из видео) повысила долю отклонений на 21%.
  • Разделение решения на части — скрытый в одном вопросе «наушники есть или нет» и «это нарушение» разбиваются на два. Слуховой аппарат даёт верный сигнал, но не должен считаться нарушением, и данные для модели становятся чище.
  • Агент с планом и небольшими PR — кодинг-агент, который показывает план и допущения и разбивает работу на проверяемые части, по мнению автора, не превращает разработчика в штамп, в отличие от одного огромного diff или запроса на каждое изменение.
  • Правки как сигнал — если человек изменил или отклонил результат модели, это нужно записывать отдельно от простого «да», иначе ложное «принято» загрязняет датасет.

Кому полезно: тем, кто проектирует ручную проверку решений модели в продуктах с высокими ставками, и тем, кто строит кодинг-агентов.

Статья по теме

Главы

Похожие доклады