Ari Heljakka — основатель и генеральный директор компании Scorable, которая раньше называлась Root Signals и строит инфраструктуру для оценки и улучшения агентов. До Root Signals он соосновал корпоративную компанию по программному обеспечению Dream Broker и занимался исследованиями генеративных нейронных сетей в Aalto University, где участвовал в разработке PIONEER и Deep Automodulators.
Его подход описан в концепции EvalOps: рабочий процесс агента и процесс его оценки рассматриваются как отдельные системы, требующие калибровки и версионирования. Через Model Context Protocol агенты обращаются к оценщикам во время работы. В докладах он разбирает оценку агентов, RAG и MCP.
Темы докладов: Evals и бенчмарки и Инструменты и протоколы (MCP, A2A).
AI Engineer Summit 20251
Agent evals: наконец-то с картой
AI Engineer Summit 2025
AI Engineer World's Fair 20251
Стабилизирует ли оценка агентов через MCP сети агентов?
AI Engineer World's Fair 2025