AI Engineering 201: всё, что нужно вокруг модели
AI Engineer Summit 2023
Загружаем страницу…
Как оценивать качество LLM и агентов: eval-сеты, LLM-as-a-judge, рубрики, бенчмарки и борьба с галлюцинациями.
Спикеры объясняют, как написать первый eval, почему статичные тесты плохо проверяют адаптивные системы, как оценивать эстетику и как тестировать агентов на реальных задачах с Harbor. Компании рассказывают, как проверяют новые модели в день выхода и почему быстрая модель не всегда ускоряет процесс целиком.
AI Engineer Summit 2023
AI Engineer Summit 2023
Reinier van der Leer, Silen Naihin, Toran Bruce Richards
AI Engineer Summit 2023
Способ оценки, при котором ответ системы оценивает другая модель по заданной рубрике. Так меряют то, что трудно проверить кодом: тон, полноту, верность источнику. Самого судью сверяют с людьми на размеченной выборке.
Как ориентиру. Публичные бенчмарки попадают в обучающие данные и плохо отражают ваши задачи. Спикеры советуют собирать свой eval-сет из реальных запросов и ошибок продакшена и выбирать модель по нему.
Давать модели источники через RAG и требовать ответа по ним, проверять ответ на верность источнику, разрешать модели сказать «не знаю». Частоту галлюцинаций измеряют evals, иначе непонятно, помогла ли правка.
AI Engineer Summit 2023
AI Engineer Summit 2023
Brittany Walker, Bryan Bischof, Chris White
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023