Загружаем страницу…
Загружаем страницу…
Как оценивать качество LLM и агентов: eval-сеты, LLM-as-a-judge, рубрики, бенчмарки и борьба с галлюцинациями.
Спикеры объясняют, как написать первый eval, почему статичные тесты плохо проверяют адаптивные системы, как оценивать эстетику и как тестировать агентов на реальных задачах с Harbor. Компании рассказывают, как проверяют новые модели в день выхода и почему быстрая модель не всегда ускоряет процесс целиком.
Способ оценки, при котором ответ системы оценивает другая модель по заданной рубрике. Так меряют то, что трудно проверить кодом: тон, полноту, верность источнику. Самого судью сверяют с людьми на размеченной выборке.
Как ориентиру. Публичные бенчмарки попадают в обучающие данные и плохо отражают ваши задачи. Спикеры советуют собирать свой eval-сет из реальных запросов и ошибок продакшена и выбирать модель по нему.
Давать модели источники через RAG и требовать ответа по ним, проверять ответ на верность источнику, разрешать модели сказать «не знаю». Частоту галлюцинаций измеряют evals, иначе непонятно, помогла ли правка.