← Каталог

· AI Engineer World's Fair 2026

От RL к IRL

From RL to IRL — Gaurav Mishra, Amazon AGI Lab

RL-агенты для кодинга не переносятся в computer use без симуляции беспорядка реального интерфейса в обучении.

  • Песочница с беспорядком — обучающая среда должна воспроизводить сдвиги вёрстки, медленные загрузки, всплывающие окна, просроченные сессии и рекламные кнопки, похожие на настоящие. Без этого агент не научится в них попадать и из них выходить.
  • Восстановление как действие — при сбое инфраструктуры модель получает ошибку и выходит из неё нативными действиями: обновляет страницу, возвращается назад, ждёт или передаёт управление пользователю. Сброс состояния в реальной жизни недоступен, поэтому восстановление обучают наравне с основной задачей.
  • Оценка по всей траектории — process reward model штрафует опасные шаги на протяжении всего пути. По словам спикера, награда только за итог пропускает случаи, когда задача формально выполнена, но агент успел совершить лишние необратимые действия.
  • Защиты в harness — checkpoint и откат для рискованных состояний, классификатор рисков действий, проверка учётных данных, мониторинг циклов, журналы аудита и принудительная передача управления пользователю, когда уверенность модели откалибрована плохо.

Кому полезно: тем, кто выводит browser или computer use агентов в продакшен и видит, что тесты на чистых сценариях не отражают реальные сбои.

Статья по теме

Главы

Похожие доклады