Wolfram Ravenwolf — AI Evangelist в компании Weights and Biases by CoreWeave. Он создатель WolfBench, открытого набора инструментов для сравнения агентов на повторяющихся запусках задач. С 2024 года он публикует сравнения локальных языковых моделей, включая тесты Llama 3, а также выложил модель Miquliz-120B v2, собранную из слоёв двух существующих моделей с помощью MergeKit.
Его доклад посвящён оценке агентов: как конфигурация, лимиты вывода и повторяемость результатов влияют на выводы о качестве системы.
Темы докладов: Evals и бенчмарки, Observability и трейсы и Инфраструктура и надёжность.
AI Engineer World's Fair 20261
От нуля до лидерборда: evals для agents
AI Engineer World's Fair 2026