← Каталог

Ваше LLM-приложение вернуло 200 OK — и всё равно ошиблось

Your LLM App Returned 200 OK. It Was Still Wrong. — Marina Petzel, Datadog

Метрики LATS показывают, что сервис работает, но не то, что LLM-приложение отвечает верно, поэтому к ним нужны сигналы стоимости, безопасности и качества.

  • Теги для расходов — спикер советует тегировать каждый вызов по фиче, пользователю или организации, модели и провайдеру, окружению и региону. По словам спикера, до 70% расходов иногда уходят на повторяющиеся вызовы, которые можно закэшировать.
  • Рост контекста и смена модели — расширение context window без финансового ревью может дать до 8x рост стоимости, а модель, которая дороже в 15 раз за запрос, сдвигает бюджет даже при том же объёме трафика.
  • PII и jailbreak — выходы предлагается проверять регулярными выражениями и NER, а целевым показателем ставится ноль утечек PII в продакшене. Это цели, которые спикер называет, а не результаты доклада.
  • Пять метрик качества — доля галлюцинаций, релевантность, удовлетворённость, полнота и качество RAG-поиска, которое считается через top-K accuracy и nDCG. Полноту предлагается оценивать LLM-as-a-judge, целевой уровень положительных оценок — 80–85%.

Кому полезно: тем, кто выводит LLM-приложения в продакшен и хочет видеть стоимость и качество ответов, а не только работоспособность. Последняя часть посвящена продукту Datadog Agent Observability.

Статья по теме

Главы

Похожие доклады