Вычислительные архитектуры и базовое ПО — часть 1: FlagOS, квантовые вычисления и AI-компиляторы
Yonghua Lin, Kai Chang, Di Luo, Wei Liu, Huimin Cui, Chunlei Men, Zhi Yang
BAAI Conference 2026 · 北京智源大会
Загружаем страницу…
Как измерять качество LLM-систем и держать их в продакшене: evals и бенчмарки, трейсы и мониторинг, инфраструктура и надёжность.
Из всех разделов этот ближе всего к ежедневной работе инженера. Спикеры показывают, как написать первый eval, чем observability для агентов отличается от обычной и как ловить случаи, когда исправление агента ломает что-то ещё. В инфраструктурных докладах разбирают GPU, задержки, базы данных и обучение, которое продолжается после отказа железа.

Бенчмарк тестирует эрудицию голой модели в вакууме, а на бою проверяется живучесть всей системы: сбои внешних API, капризы песочниц, обрывы контекста и непредсказуемые запросы пользователей. К тому же лидерборд замеряет одну фиксированную связку и сильно скачет от запуска к запуску.

Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.
Yonghua Lin, Kai Chang, Di Luo, Wei Liu, Huimin Cui, Chunlei Men, Zhi Yang
BAAI Conference 2026 · 北京智源大会
Chao Yu, Weiwen Liu, Haoran Li, Ziniu Li, Shusheng Xu
BAAI Conference 2026 · 北京智源大会
Evals - автоматические проверки качества LLM-системы: набор входов, ожидаемое поведение и способ оценки. Оценивает код, человек или другая модель. Evals прогоняют при каждом изменении промпта, модели или кода, как тесты в обычной разработке.
Записывают трейсы: каждый вызов модели и инструмента с входом, выходом, временем и стоимостью. По трейсам ищут ошибки, считают метрики качества и собирают новые примеры для evals.
Minxi Xie, Bo An, Xudong Pan, Toby Walsh, Stephen Casper, Yaodong Yang, Jingwei Yi, Jin Song Dong, Chaozhuo Li, Yuping Yan, Jinge Wang, An Zhang, Tiantian Tian, Yan Liu, Liang Fang, Yuejin Du
BAAI Conference 2026 · 北京智源大会