Может ли ИИ разобраться в проблемном кредите?
AI Engineer New York 2026
Загружаем страницу…
Как измерять качество LLM-систем и держать их в продакшене: evals и бенчмарки, трейсы и мониторинг, инфраструктура и надёжность.
Из всех разделов этот ближе всего к ежедневной работе инженера. Спикеры показывают, как написать первый eval, чем observability для агентов отличается от обычной и как ловить случаи, когда исправление агента ломает что-то ещё. В инфраструктурных докладах разбирают GPU, задержки, базы данных и обучение, которое продолжается после отказа железа.

Бенчмарк тестирует эрудицию голой модели в вакууме, а на бою проверяется живучесть всей системы: сбои внешних API, капризы песочниц, обрывы контекста и непредсказуемые запросы пользователей. К тому же лидерборд замеряет одну фиксированную связку и сильно скачет от запуска к запуску.

Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.
AI Engineer New York 2026
AI Engineer New York 2026
Evals - автоматические проверки качества LLM-системы: набор входов, ожидаемое поведение и способ оценки. Оценивает код, человек или другая модель. Evals прогоняют при каждом изменении промпта, модели или кода, как тесты в обычной разработке.
Записывают трейсы: каждый вызов модели и инструмента с входом, выходом, временем и стоимостью. По трейсам ищут ошибки, считают метрики качества и собирают новые примеры для evals.