Платформа observability, оценки и экспериментов для LLM
LLM Observability, Evaluation, Experimentation Platform — Dat Ngo, Arize AI
Отлаживать недетерминированных агентов можно по трассам OpenTelemetry, а оценивать по траекториям и сессиям, где видны ошибки, незаметные на уровне одного вызова.
- Трассировка через OpenTelemetry — одна строка кода с автоинструментатором создаёт спаны для фреймворка или SDK, а траектории показывают, что вызовы инструментов иногда идут в неверном порядке. Спикер приводит случай, где шаг B выполнялся раньше A, хотя зависел от него.
- Уровни оценки — оценку можно вешать на один спан, на несколько спанов (например, на передачу данных между агентами), на всю траекторию или на сессию. По словам спикера, стоит брать минимальный набор оценок, потому что каждая из них стоит денег.
- Судья на golden dataset — LLM-as-a-judge калибруют так, чтобы он приближался к разметке эксперта предметной области. Там, где хватает логики, лучше детерминированные проверки, например валидность JSON, схема и обязательные поля, они дешевле.
- Регрессии после правок — по словам спикера, исправление одного места может сломать два-три других, которых не видно без оценок. Поэтому изменения промптов, моделей и конфигурации стоит прогонять как эксперименты на датасете, собранном из трасс.
Кому полезно: тем, кто выводит агентов в продакшен и хочет ловить регрессии по трассам, а не вручную.
Статья по теме
Главы
Ещё доклады: Dat Ngo
Страница спикера →Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Похожие доклады
Всё, что нужно знать о наблюдаемости AI-агентов
Ben Hylak, Danny Gollapalli, Zubin Koticha
AI Engineer Europe 2026
Близко по содержанию
Как обуздать AI-агентов с помощью evals на основе observability
AI Engineer World's Fair 2025
Близко по содержанию
Ломай, пока не заработает: создаём самоулучшающийся стек для AI-агентов
AI Engineer World's Fair 2025
Близко по содержанию

