← Каталог

· AI Engineer Summit 2025

OpenLLMetry — всё, что вам нужно

OpenLLMetry is all you need

OpenLLMetry переносит стандарт OpenTelemetry на LLM-приложения, поэтому трейсы моделей, векторных баз и фреймворков попадают в любую существующую платформу мониторинга без привязки к вендору.

  • Автоинструментация вместо ручной отправки — инструменты подменяют клиентские библиотеки в приложении и сами генерируют логи, метрики и трейсы. По словам спикера, накладные расходы по задержке почти незаметны.
  • Фильтрация чувствительных данных до отправки — collector, который разворачивается в собственной инфраструктуре, отбрасывает ненужные данные или скрывает PII до того, как они попадут в платформу наблюдения.
  • Покрытие LLM-стека — больше сорока провайдеров моделей, векторных баз и фреймворков, включая OpenAI, Anthropic, Pinecone, Chroma и LangChain. Для Pinecone, по словам спикера, видны запросы, индексация, расстояния и scores возвращённых векторов.
  • Смена платформы конфигурацией — раз формат стандартный, переход между Datadog, Grafana и другими платформами требует изменения настроек, а не переписывания кода.

Кому полезно: командам, которые уже используют OpenTelemetry и хотят видеть вызовы моделей, векторного поиска и цепочек в том же мониторинге, что и остальные сервисы.

Статья по теме

Главы

Ещё доклады: Nir Gazit

Страница спикера →

Похожие доклады