← Каталог

· AI Engineer World's Fair 2025

Стабилизирует ли оценка агентов через MCP сети агентов?

Will Agent Evaluation via MCP Stabilize Agent Networks?

Подключение оценщиков к агенту через MCP создаёт петлю обратной связи, которая, по словам спикера, делает поведение агента управляемее.

  • Политика как отдельный оценщик — в агенте бронирования отелей на Pydantic AI оценщик политики не дал упомянуть соседний ACME Hotel, который без него агент рекомендовал. Агент сам выбрал нужный оценщик из списка, без прямой просьбы. Пример показан на одном запуске, это иллюстрация, а не замер.
  • Ручной прогон перед подключением — сначала оценщики запускаются вручную, например из Cursor, чтобы понять, как они работают, и только потом подключаются к агентам.
  • Стоимость оценки — оценщиков запускают много раз, и каждый запуск стоит денег, поэтому, по словам спикера, сами оценщики тоже нужно поддерживать и оптимизировать.

Кому полезно: тем, кто проверяет агентов на соблюдение доменных правил, например политик бронирования.

Статья по теме

Главы

Ещё доклады: Ari Heljakka

Страница спикера →

Похожие доклады