Ramakrishnan Lokanathan основал eSlams, публичную арену, где люди и модели ИИ играют друг против друга. До этого он основал прикладную AI-компанию и продал её. Через eSlams он предлагает оценивать модели иначе: open-source движок позволяет разбирать отдельные ходы и воспроизводить партии, а шахматы и покер проверяют планирование и решения при неполной информации.
Он также работает над evals для приложений, где ошибка имеет последствия за пределами таблицы результатов. В докладе он поднимает тему того, что стопроцентный результат может говорить об ошибке в самой оценке.
Темы докладов: Evals и бенчмарки.