Ваше LLM-приложение вернуло 200 OK — и всё равно ошиблось
Your LLM App Returned 200 OK. It Was Still Wrong. — Marina Petzel, Datadog
Метрики LATS показывают, что сервис работает, но не то, что LLM-приложение отвечает верно, поэтому к ним нужны сигналы стоимости, безопасности и качества.
- Теги для расходов — спикер советует тегировать каждый вызов по фиче, пользователю или организации, модели и провайдеру, окружению и региону. По словам спикера, до 70% расходов иногда уходят на повторяющиеся вызовы, которые можно закэшировать.
- Рост контекста и смена модели — расширение context window без финансового ревью может дать до 8x рост стоимости, а модель, которая дороже в 15 раз за запрос, сдвигает бюджет даже при том же объёме трафика.
- PII и jailbreak — выходы предлагается проверять регулярными выражениями и NER, а целевым показателем ставится ноль утечек PII в продакшене. Это цели, которые спикер называет, а не результаты доклада.
- Пять метрик качества — доля галлюцинаций, релевантность, удовлетворённость, полнота и качество RAG-поиска, которое считается через top-K accuracy и nDCG. Полноту предлагается оценивать LLM-as-a-judge, целевой уровень положительных оценок — 80–85%.
Кому полезно: тем, кто выводит LLM-приложения в продакшен и хочет видеть стоимость и качество ответов, а не только работоспособность. Последняя часть посвящена продукту Datadog Agent Observability.
Статья по теме
Главы
Похожие доклады
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
AI Engineer World's Fair 2024
Близко по содержанию
Оценка видео-слопа
AI Engineer World's Fair 2026
Близко по содержанию
Защита систем машинного обучения
AI Engineer World's Fair 2024
Близко по содержанию
Платформа observability, оценки и экспериментов для LLM
AI Engineer Europe 2026
Близко по содержанию

