Wolfram Ravenwolf — AI Evangelist в компании Weights and Biases by CoreWeave. Он создатель WolfBench, открытого набора инструментов для сравнения агентов на повторяющихся запусках задач. С 2024 года он публикует сравнения локальных языковых моделей, включая тесты Llama 3, а также выложил модель Miquliz-120B v2, собранную из слоёв двух существующих моделей с помощью MergeKit.

Его доклад посвящён оценке агентов: как конфигурация, лимиты вывода и повторяемость результатов влияют на выводы о качестве системы.

Темы докладов: Evals и бенчмарки, Observability и трейсы и Инфраструктура и надёжность.

AI Engineer World's Fair 20261