· AI Engineer World's Fair 2025
Стабилизирует ли оценка агентов через MCP сети агентов?
Will Agent Evaluation via MCP Stabilize Agent Networks?
Подключение оценщиков к агенту через MCP создаёт петлю обратной связи, которая, по словам спикера, делает поведение агента управляемее.
- Политика как отдельный оценщик — в агенте бронирования отелей на Pydantic AI оценщик политики не дал упомянуть соседний ACME Hotel, который без него агент рекомендовал. Агент сам выбрал нужный оценщик из списка, без прямой просьбы. Пример показан на одном запуске, это иллюстрация, а не замер.
- Ручной прогон перед подключением — сначала оценщики запускаются вручную, например из Cursor, чтобы понять, как они работают, и только потом подключаются к агентам.
- Стоимость оценки — оценщиков запускают много раз, и каждый запуск стоит денег, поэтому, по словам спикера, сами оценщики тоже нужно поддерживать и оптимизировать.
Кому полезно: тем, кто проверяет агентов на соблюдение доменных правил, например политик бронирования.
Статья по теме
Главы
Ещё доклады: Ari Heljakka
Страница спикера →Agent evals: наконец-то с картой
AI Engineer Summit 2025
Похожие доклады
Создание агентов с Model Context Protocol
AI Engineer Summit 2025
Близко по содержанию
A2A и MCP: автоматизация бизнес-процессов с помощью LLM
AI Engineer World's Fair 2025
Близко по содержанию
MCP пока ещё не готов
AI Engineer World's Fair 2025
Близко по содержанию

