Поднимаясь по лестнице абстракции
AI Engineer Summit 2023
Загружаем страницу…
Агенты, которые управляют компьютером и браузером через интерфейс, как человек: смотрят на экран, кликают, вводят текст.
Спикеры обсуждают, почему browser agents с точностью 99% всё равно дают сбой, почему им нужно лучшее зрение, а не более сильная модель, и как WebMCP упрощает агентам работу с сайтами. Есть доклады про Amazon Nova Act, Manus, инфраструктуру для агентов computer use и автоматизацию «длинного хвоста» интеллектуального труда там, где нет API.
AI Engineer Summit 2023
Computer use - способность модели работать с компьютером через экран. Модель получает скриншот, решает, куда кликнуть или что ввести, и видит результат. Так агент справляется с программами и сайтами, у которых нет API.
У большинства сайтов и внутренних систем нет API для нужного действия, а браузерный агент работает там же, где человек. Платить приходится скоростью и надёжностью: через интерфейс агент медленнее и ошибается чаще, поэтому где API есть, лучше использовать его.