Как по-настоящему оптимизировать расход токенов и сэкономить миллионы
AI Engineer NYC 2026 Online Talks
Загружаем страницу…
1–24 из 394
Как оценивать качество LLM и агентов: eval-сеты, LLM-as-a-judge, рубрики, бенчмарки и борьба с галлюцинациями.
Спикеры объясняют, как написать первый eval, почему статичные тесты плохо проверяют адаптивные системы, как оценивать эстетику и как тестировать агентов на реальных задачах с Harbor. Компании рассказывают, как проверяют новые модели в день выхода и почему быстрая модель не всегда ускоряет процесс целиком.
AI Engineer NYC 2026 Online Talks
42:09Sun Tingtao, Kevin Huo, Meng Hongjin, Charles Guo
Apsara Conference 2026 · 云栖大会
Способ оценки, при котором ответ системы оценивает другая модель по заданной рубрике. Так меряют то, что трудно проверить кодом: тон, полноту, верность источнику. Самого судью сверяют с людьми на размеченной выборке.
Как ориентиру. Публичные бенчмарки попадают в обучающие данные и плохо отражают ваши задачи. Спикеры советуют собирать свой eval-сет из реальных запросов и ошибок продакшена и выбирать модель по нему.
Давать модели источники через RAG и требовать ответа по ним, проверять ответ на верность источнику, разрешать модели сказать «не знаю». Частоту галлюцинаций измеряют evals, иначе непонятно, помогла ли правка.
AI Engineer Code 2026
AI Engineer World's Fair 2026
AI Engineer New York 2026
AI Engineer Europe 2026
AI Engineer NYC 2026 Online Talks
AI Engineer Code 2026
20:13Apsara Conference 2026 · 云栖大会
AI Engineer World's Fair 2026
AI Engineer World's Fair 2025
AI Engineer NYC 2026 Online Talks
Brandon Callender, Yoni Michael
AI Engineer World's Fair 2026
AI Engineer Code 2026
AI Engineer Europe 2026
AI Engineer Code 2025
AI Engineer World's Fair 2026
AI Engineer Summit 2023
AI Engineer Code 2026
AI Engineer World's Fair 2025
AI Engineer NYC 2026 Online Talks