Ari Heljakka — основатель и генеральный директор компании Scorable, которая раньше называлась Root Signals и строит инфраструктуру для оценки и улучшения агентов. До Root Signals он соосновал корпоративную компанию по программному обеспечению Dream Broker и занимался исследованиями генеративных нейронных сетей в Aalto University, где участвовал в разработке PIONEER и Deep Automodulators.

Его подход описан в концепции EvalOps: рабочий процесс агента и процесс его оценки рассматриваются как отдельные системы, требующие калибровки и версионирования. Через Model Context Protocol агенты обращаются к оценщикам во время работы. В докладах он разбирает оценку агентов, RAG и MCP.

Темы докладов: Evals и бенчмарки и Инструменты и протоколы (MCP, A2A).

AI Engineer Summit 20251

AI Engineer World's Fair 20251