Как по-настоящему оптимизировать расход токенов и сэкономить миллионы
AI Engineer NYC 2026 Online Talks
Загружаем страницу…
Как оценивать качество LLM и агентов: eval-сеты, LLM-as-a-judge, рубрики, бенчмарки и борьба с галлюцинациями.
Спикеры объясняют, как написать первый eval, почему статичные тесты плохо проверяют адаптивные системы, как оценивать эстетику и как тестировать агентов на реальных задачах с Harbor. Компании рассказывают, как проверяют новые модели в день выхода и почему быстрая модель не всегда ускоряет процесс целиком.
AI Engineer NYC 2026 Online Talks
AI Engineer NYC 2026 Online Talks
AI Engineer NYC 2026 Online Talks
Способ оценки, при котором ответ системы оценивает другая модель по заданной рубрике. Так меряют то, что трудно проверить кодом: тон, полноту, верность источнику. Самого судью сверяют с людьми на размеченной выборке.
Как ориентиру. Публичные бенчмарки попадают в обучающие данные и плохо отражают ваши задачи. Спикеры советуют собирать свой eval-сет из реальных запросов и ошибок продакшена и выбирать модель по нему.
Давать модели источники через RAG и требовать ответа по ним, проверять ответ на верность источнику, разрешать модели сказать «не знаю». Частоту галлюцинаций измеряют evals, иначе непонятно, помогла ли правка.
AI Engineer NYC 2026 Online Talks
Eleonora Drykina, Nina Žižakić
AI Engineer NYC 2026 Online Talks
AI Engineer NYC 2026 Online Talks