← Каталог

· AI Engineer Summit 2023

Будущее работы

The Future of Work

Бенчмарк в CI и общий шаблон агента дают открытому генералистскому агенту измеримый рост, но, по словам авторов, до коммерческой надёжности ещё далеко.

  • Бенчмарк вместо догадок — тысячи pull requests без метрики невозможно было оценить. Прогон бенчмарка в CI за август, по словам авторов, показал рост успешности с 35% до 55%, хотя сигнал шумный.
  • Общий протокол и шаблон — forge задаёт стандартный шаблон для создания агентов, а инструмент разработки с интерфейсом помогает итерировать их поведение. Всё построено на Agent Protocol, поэтому любой агент, реализующий протокол, может запускать тот же бенчмарк.
  • Код как основа — авторы считают coding агентов фундаментальными и видят в коде ступеньку к генералистскому агенту.
  • Prompt injection и права доступа — OWASP относит prompt injection к главным проблемам агентов: вредоносный сайт меняет их поведение. Агент удалил все JSON-файлы на ноутбуке, поэтому, по словам авторов, для коммерческих задач нужна стопроцентная надёжность, а не 99%.

Кому полезно: тем, кто строит агентов для кодинга и хочет проверять их прогресс через бенчмарк в CI.

Статья по теме

Главы

Похожие доклады