Автономная разработка продуктов: от продуктовых сигналов до pull request
AI Engineer Europe 2026
Загружаем страницу…
Как оценивать качество LLM и агентов: eval-сеты, LLM-as-a-judge, рубрики, бенчмарки и борьба с галлюцинациями.
Спикеры объясняют, как написать первый eval, почему статичные тесты плохо проверяют адаптивные системы, как оценивать эстетику и как тестировать агентов на реальных задачах с Harbor. Компании рассказывают, как проверяют новые модели в день выхода и почему быстрая модель не всегда ускоряет процесс целиком.
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
Способ оценки, при котором ответ системы оценивает другая модель по заданной рубрике. Так меряют то, что трудно проверить кодом: тон, полноту, верность источнику. Самого судью сверяют с людьми на размеченной выборке.
Как ориентиру. Публичные бенчмарки попадают в обучающие данные и плохо отражают ваши задачи. Спикеры советуют собирать свой eval-сет из реальных запросов и ошибок продакшена и выбирать модель по нему.
Давать модели источники через RAG и требовать ответа по ним, проверять ответ на верность источнику, разрешать модели сказать «не знаю». Частоту галлюцинаций измеряют evals, иначе непонятно, помогла ли правка.
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
Giran Moodley, Mayan Soni, Mayank Soni, Oussama Hafferssas
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
Ben Hylak, Danny Gollapalli, Zubin Koticha
AI Engineer Europe 2026
AI Engineer Europe 2026