Новые достижения в развитии моделей Gemma
AI Engineer World's Fair 2024
Загружаем страницу…
Как оценивать качество LLM и агентов: eval-сеты, LLM-as-a-judge, рубрики, бенчмарки и борьба с галлюцинациями.
Спикеры объясняют, как написать первый eval, почему статичные тесты плохо проверяют адаптивные системы, как оценивать эстетику и как тестировать агентов на реальных задачах с Harbor. Компании рассказывают, как проверяют новые модели в день выхода и почему быстрая модель не всегда ускоряет процесс целиком.
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Способ оценки, при котором ответ системы оценивает другая модель по заданной рубрике. Так меряют то, что трудно проверить кодом: тон, полноту, верность источнику. Самого судью сверяют с людьми на размеченной выборке.
Как ориентиру. Публичные бенчмарки попадают в обучающие данные и плохо отражают ваши задачи. Спикеры советуют собирать свой eval-сет из реальных запросов и ошибок продакшена и выбирать модель по нему.
Давать модели источники через RAG и требовать ответа по ним, проверять ответ на верность источнику, разрешать модели сказать «не знаю». Частоту галлюцинаций измеряют evals, иначе непонятно, помогла ли правка.
AI Engineer World's Fair 2024
Pedro Torruella, Thierry Moreau
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Harald Kirschner, Pamela Fox, Gabriela de Queiroz
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024