← Каталог

· AI Engineer World's Fair 2026

Perception agents

Perception Agents — Antje Barth, Amazon AGI Lab

Агенты для работы с интерфейсами станут надёжнее, если будут видеть отрисованный экран, получать визуальные пометки от человека и сами проверять свою работу по дизайн-правилам.

  • Восприятие без API — агент читает отрисованный экран, а не код страницы, поэтому работает с программами, у которых нет API или бэкенд-интерфейса. По словам спикера, он видит те же пиксели и структуру, что и пользователь.
  • Пометки вместо длинного описания — пользователь выделяет элемент прямо в браузере через Chrome-расширение, и агент получает место элемента, стили и текст правки одной сводкой, без цикла уточнений.
  • Проверка по design.md — правила цветов, компонентов и вёрстки записываются в файл. Агент проверяет визуал, проходит пользовательские сценарии, например добавляет и удаляет задачу, и пишет отчёт с пройденными и упавшими тестами.

Кому полезно: тем, кто строит агентов для веб-интерфейсов и хочет проверять результат без ручного прохождения сценариев. Обе части harness открыты на GitHub.

Статья по теме

Главы

Ещё доклады: Antje Barth

Страница спикера →

Похожие доклады