Будущее работы
The Future of Work
Бенчмарк в CI и общий шаблон агента дают открытому генералистскому агенту измеримый рост, но, по словам авторов, до коммерческой надёжности ещё далеко.
- Бенчмарк вместо догадок — тысячи pull requests без метрики невозможно было оценить. Прогон бенчмарка в CI за август, по словам авторов, показал рост успешности с 35% до 55%, хотя сигнал шумный.
- Общий протокол и шаблон — forge задаёт стандартный шаблон для создания агентов, а инструмент разработки с интерфейсом помогает итерировать их поведение. Всё построено на Agent Protocol, поэтому любой агент, реализующий протокол, может запускать тот же бенчмарк.
- Код как основа — авторы считают coding агентов фундаментальными и видят в коде ступеньку к генералистскому агенту.
- Prompt injection и права доступа — OWASP относит prompt injection к главным проблемам агентов: вредоносный сайт меняет их поведение. Агент удалил все JSON-файлы на ноутбуке, поэтому, по словам авторов, для коммерческих задач нужна стопроцентная надёжность, а не 99%.
Кому полезно: тем, кто строит агентов для кодинга и хочет проверять их прогресс через бенчмарк в CI.
Статья по теме
Главы
Похожие доклады
Как создавать работающих AI-агентов
AI Engineer Summit 2025
Близко по содержанию
Актуальные вызовы AI-инжиниринга
AI Engineer World's Fair 2024
Близко по содержанию
Создание агентов для совместного творчества
AI Engineer Summit 2025
Близко по содержанию
Новые навыки работы с coding agents
AI Engineer World's Fair 2025
Близко по содержанию



