· AI Engineer World's Fair 2026
Perception agents
Perception Agents — Antje Barth, Amazon AGI Lab
Агенты для работы с интерфейсами станут надёжнее, если будут видеть отрисованный экран, получать визуальные пометки от человека и сами проверять свою работу по дизайн-правилам.
- Восприятие без API — агент читает отрисованный экран, а не код страницы, поэтому работает с программами, у которых нет API или бэкенд-интерфейса. По словам спикера, он видит те же пиксели и структуру, что и пользователь.
- Пометки вместо длинного описания — пользователь выделяет элемент прямо в браузере через Chrome-расширение, и агент получает место элемента, стили и текст правки одной сводкой, без цикла уточнений.
- Проверка по design.md — правила цветов, компонентов и вёрстки записываются в файл. Агент проверяет визуал, проходит пользовательские сценарии, например добавляет и удаляет задачу, и пишет отчёт с пройденными и упавшими тестами.
Кому полезно: тем, кто строит агентов для веб-интерфейсов и хочет проверять результат без ручного прохождения сценариев. Обе части harness открыты на GitHub.
Статья по теме
Главы
Ещё доклады: Antje Barth
Страница спикера →От разработчика ПО к AI-инженеру
AI Engineer World's Fair 2024
Создание agents в облачном масштабе
AI Engineer World's Fair 2025
Похожие доклады
Выводим агентов во Всемирную паутину
AI Engineer World's Fair 2026
Близко по содержанию
Разработка с perception agents
AI Engineer World's Fair 2026
Близко по содержанию
Модели для computer use превратят веб в среду для агентов, а не в набор API
AI Engineer World's Fair 2026
Близко по содержанию
Текущее состояние browser agents
AI Engineer World's Fair 2025
Близко по содержанию

