Перестраиваем CI для потока коммитов в эпоху AI
AI Engineer NYC 2026 Online Talks
Загружаем страницу…
1–24 из 605
Как измерять качество LLM-систем и держать их в продакшене: evals и бенчмарки, трейсы и мониторинг, инфраструктура и надёжность.
Из всех разделов этот ближе всего к ежедневной работе инженера. Спикеры показывают, как написать первый eval, чем observability для агентов отличается от обычной и как ловить случаи, когда исправление агента ломает что-то ещё. В инфраструктурных докладах разбирают GPU, задержки, базы данных и обучение, которое продолжается после отказа железа.

Бенчмарк тестирует эрудицию голой модели в вакууме, а на бою проверяется живучесть всей системы: сбои внешних API, капризы песочниц, обрывы контекста и непредсказуемые запросы пользователей. К тому же лидерборд замеряет одну фиксированную связку и сильно скачет от запуска к запуску.

Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.
AI Engineer NYC 2026 Online Talks
Connor Guerrero, Nikhil Gupta, Young Jeong
AI Engineer Code 2025
Evals - автоматические проверки качества LLM-системы: набор входов, ожидаемое поведение и способ оценки. Оценивает код, человек или другая модель. Evals прогоняют при каждом изменении промпта, модели или кода, как тесты в обычной разработке.
Записывают трейсы: каждый вызов модели и инструмента с входом, выходом, временем и стоимостью. По трейсам ищут ошибки, считают метрики качества и собирают новые примеры для evals.
AI Engineer Code 2026
AI Engineer World's Fair 2026
AI Engineer New York 2026
42:09Sun Tingtao, Kevin Huo, Meng Hongjin, Charles Guo
Apsara Conference 2026 · 云栖大会
AI Engineer NYC 2026 Online Talks
AI Engineer World's Fair 2026
AI Engineer Code 2026
AI Engineer New York 2026
AI Engineer World's Fair 2025
AI Engineer NYC 2026 Online Talks
Yonghua Lin, Kai Chang, Di Luo, Wei Liu, Huimin Cui, Chunlei Men, Zhi Yang
BAAI Conference 2026 · 北京智源大会
AI Engineer World's Fair 2026
16:24Apsara Conference 2026 · 云栖大会
AI Engineer Code 2026
AI Engineer NYC 2026 Online Talks
AI Engineer Europe 2026
AI Engineer World's Fair 2025
AI Engineer Code 2025