Mohak Sharma — сооснователь и генеральный директор HoneyHive, платформы для оценки и мониторинга AI-приложений, которую он основал вместе с Dhruv Singh в конце 2022 года. Ранее работал в квантитативном трейдинге в Citi и руководил развитием платформ данных и машинного обучения в Templafy.
Основная тема Sharma — evals, которые отражают работу агентов и retrieval-систем в эксплуатации: калибровка LLM judges экспертами и регрессионные тесты из реальных ошибок пользователей. В докладе на AI Engineer Summit 2025 он разбирает, почему тесты разработчиков и общие метрики плохо предсказывают результат в эксплуатации.
Темы докладов: Evals и бенчмарки.
AI Engineer Summit 20251
Ваши evals бессмысленны — и вот как это исправить
AI Engineer Summit 2025