Arjun Bansal — соучредитель и генеральный директор компании Log10, которая разрабатывает Everest, AI-системы для клинической документации, регуляторных подач и других сложных сценариев в life sciences. Ранее он соосновал Nervana Systems, которую в 2016 году приобрела Intel, и руководил в Intel направлением AI software and research. Его работа посвящена human-calibrated automated evaluation: оценщики обучаются на критериях и суждениях конкретных экспертов, а оценщики, инициализированные 25–50 экспертными метками, приближаются по качеству к системам на значительно больших выборках. Открытые инструменты Log10 связывают трассировки приложений, рубрики оценки и сравнение моделей. Доклад на AI Engineer World's Fair 2024 посвящён выводу GenAI-приложений в корпоративную среду и доверию к оценкам LLM-as-a-judge.
Темы докладов: Evals и бенчмарки и Observability и трейсы.
AI Engineer World's Fair 20241
Что на самом деле нужно для внедрения GenAI-приложений в корпоративной среде
AI Engineer World's Fair 2024