← Каталог

· AI Engineer Europe 2026

Платформа observability, оценки и экспериментов для LLM

LLM Observability, Evaluation, Experimentation Platform — Dat Ngo, Arize AI

Отлаживать недетерминированных агентов можно по трассам OpenTelemetry, а оценивать по траекториям и сессиям, где видны ошибки, незаметные на уровне одного вызова.

  • Трассировка через OpenTelemetry — одна строка кода с автоинструментатором создаёт спаны для фреймворка или SDK, а траектории показывают, что вызовы инструментов иногда идут в неверном порядке. Спикер приводит случай, где шаг B выполнялся раньше A, хотя зависел от него.
  • Уровни оценки — оценку можно вешать на один спан, на несколько спанов (например, на передачу данных между агентами), на всю траекторию или на сессию. По словам спикера, стоит брать минимальный набор оценок, потому что каждая из них стоит денег.
  • Судья на golden dataset — LLM-as-a-judge калибруют так, чтобы он приближался к разметке эксперта предметной области. Там, где хватает логики, лучше детерминированные проверки, например валидность JSON, схема и обязательные поля, они дешевле.
  • Регрессии после правок — по словам спикера, исправление одного места может сломать два-три других, которых не видно без оценок. Поэтому изменения промптов, моделей и конфигурации стоит прогонять как эксперименты на датасете, собранном из трасс.

Кому полезно: тем, кто выводит агентов в продакшен и хочет ловить регрессии по трассам, а не вручную.

Статья по теме

Главы

Ещё доклады: Dat Ngo

Страница спикера →

Похожие доклады