Rayan Krishnan — соучредитель и генеральный директор Vals AI, независимого оценщика языковых моделей. Его команда совместно со специалистами превращает рабочие задачи юристов, банкиров и других профессионалов в бенчмарки. Среди работ компании — бенчмарк Finance Agent, который проверяет финансовый анализ, и open source система Valkyrie для запуска оценок агентов на разных машинах. В докладе он рассматривает, почему более дешёвая модель может обойтись дороже: разницу между дешёвым ответом и экономически выгодным завершением работы.
Темы докладов: Инференс, стоимость, открытые модели.