· AI Engineer World's Fair 2026
Создавайте AI-системы для осознанной оценки, а не одобрения
Build AI Systems for Discernment, Not Approval - Angel Ortmann Lee, Duolingo
Надзор человека над AI работает только тогда, когда интерфейс заставляет проверяющего искать независимые доказательства, а не нажимать «подтвердить».
- Автоматический сигнал как предварительный — в эксперименте Duolingo English Test проверяющие приняли 50% заведомо ложных сигналов о списывании, хотя их точность превышала 90%. По словам автора, правка инструкции (сигнал предварительный, флаг подтверждается только доказательством из видео) повысила долю отклонений на 21%.
- Разделение решения на части — скрытый в одном вопросе «наушники есть или нет» и «это нарушение» разбиваются на два. Слуховой аппарат даёт верный сигнал, но не должен считаться нарушением, и данные для модели становятся чище.
- Агент с планом и небольшими PR — кодинг-агент, который показывает план и допущения и разбивает работу на проверяемые части, по мнению автора, не превращает разработчика в штамп, в отличие от одного огромного diff или запроса на каждое изменение.
- Правки как сигнал — если человек изменил или отклонил результат модели, это нужно записывать отдельно от простого «да», иначе ложное «принято» загрязняет датасет.
Кому полезно: тем, кто проектирует ручную проверку решений модели в продуктах с высокими ставками, и тем, кто строит кодинг-агентов.
Статья по теме
Главы
Похожие доклады
Невидимые пользователи, невидимые интерфейсы: ускоряем итерации дизайна с помощью AI-симуляции
AI Engineer World's Fair 2025
Близко по содержанию
Внутри 847 клинических AI-заметок из продакшена
AI Engineer World's Fair 2026
Близко по содержанию
Как проектировать ИИ, развивающий человеческое мышление
AI Engineer World's Fair 2025
Близко по содержанию
UX искусственного интеллекта: как создавать приложения, которые не раздражают пользователей
AI Engineer World's Fair 2026
Близко по содержанию
