当前位置:

首页 > 系统应用 > OpenTelemetry在服务网格架构下的最佳实践

OpenTelemetry在服务网格架构下的最佳实践

【百度云原生导读】OpenTelemetry 由著名的 OpenTracing、 OpenCensus 两个产品在 2019 年合并而来,拥有广泛的应用场景和强大的开发团队。2021年,OpenTelemetry 的使用成为新的行业规范,通过在各个数据源之间建立一致性,使得数据收集以及处理更加便捷。

本文目录

    【百度云原生导读】OpenTelemetry 由著名的 OpenTracing、 OpenCensus 两个产品在 2019 年合并而来,拥有广泛的应用场景和强大的开发团队。2021年,OpenTelemetry 的使用成为新的行业规范,通过在各个数据源之间建立一致性,使得数据收集以及处理更加便捷。那么,如何在服务网格架构中引入 OpenTelemetry 进而获取可观测 trace 能力,实践过程中会遇到哪些问题?本文对相关问题做了总结并给出了解法,最后通过一个 Demo 手把手教你在 Istio 中安装 OpenTelemetry。

    1. OpenTelemetry 介绍

    OpenTelemetry(简称 OTel)是一系列的工具、APIs 和 SDKs。使用 OpenTelemetry 可以产生、收集、输出一系列遥测数据(telemetry data 如 trace、metrics 和 log)帮助用户分析应用程序的性能和行为。

    OpenTelemetry 是厂商无关的,并且作为工业级别标准被大量的厂商支持。另外,OpenCensus(Google)和 OpenTracing(Uber)是其前身。

    其架构如下所示:

    主要包含了以下几个部分:

    • Instrumentation:包含自动方式API 、SDK 方式接入 OpenTelemetry。

    • OTLP: OpenTelemetry 定义的传输协议。

    • OpenTelemetry Collector:提供厂商无关的解决方案,用于实现 数据的接收(receive), 处理(process)和 输出(export)的功能。

    2.OpenTelemetry 在 Service Mesh 架构下的实践

    目前 Istio 实现可观测 trace 方案 可以总结为:

    1. 需要业务透传对应的 header 信息(从入向请求中获取对应的 header 信息、并在出向请求中添加响应 header 信息)。

    2. Sidecar 自动向监控系统发送Span信息。

    通过对 Istio 方案可观测 trace 的分析,可以发现几个问题:

    1. 对业务代码是有侵入的 Trace 上下文传播(Trace Context propagation),需要业务透传相应的 header 信息。

    2. 所有的 Span 数据都由 Sidecar 侧生成,业务内部方法级别监控信息无法采集。

    在业界 APM 的技术方案中,Ja vaAgent(一种字节码技术,对业务无侵入)作为主流的技术方案。同样 OpenTelemetryauto-instrumentation通过 Ja va Agent 提供的动态注入字节码的技术实现任意 Ja va 应用遥测数据的采集,其支持了非常多的广为流行的库和框架。

    2.1 无侵入式Trace上下文传播

    对于Ja va应用程序,OpenTelemetry Ja vaAgent支持的Trace context propagation如下:

    • "tracecontext": W3C Trace Context (addbaggageas well to include W3C baggage)

    • "baggage": W3C Baggage

    • "b3": B3 Single

    • "b3multi": B3 Multi

    • "jaeger": Jaeger (includes Jaeger baggage)

    • "xray": AWS X-Ray

    • "ottrace": OT Trace

    上述b3multi/b3(以x-b3开头)恰好是 Istio 中要求透传的 header 信息。

    2.2 业务内部方法级别监控

    目前 OpenTelemetry Ja vaAgent 已经支持大量的库、框架以及应用服务器,能够采集业务内部方法级别执行逻辑。

    2.3 trace信息与业务日志关联

    通常在业务排查问题中,不仅仅要查看对应的 trace 链路信息,同时也要基于对应的 trace_id、span_id 查看对应的业务日志信息。

    OpenTelemetry Ja va Agent 预先在 log 的 MDC(Mapped Diagnostic Context)中设置了诸多关于当前 span 的信息,业务能够轻松对这些信息进行配置,进而方便地在业务日志中打印出相应的 trace_id、span_id 信息。以下是在 SpringBoot 中使用 logback 的配置示例:

      logging.pattern.level = trace_id=%mdc{trace_id} span_id=%mdc{span_id} trace_flags=%mdc{trace_flags} %5p

      2.4 系统架构

      • Ja vaAgent 将采集的数据发送至 OpenTelemetry Collector 。

      • Sidecar 将生成的 trace span 信息发送至 OpenTelemetry Collector。

      • OpenTelemetry Collector 将数据输出至监控系统如 jaeger 或 Kafka 中。

      • 用户可以通过对应的 UI 查看 trace 数据。

      2.5 实践

      本文主要用于演示,均无高可用部署。

      2.5.1 安装istio

      下载 istio 安装包(本文以1.13.2 为例):https://github.com/istio/istio/releases

        $ istioctl install -f istio-opentelemtry-iop.yaml

        istio-opentelemetry-iop.yaml的内容如下所示:

        apiVersion: install.istio.io/v1alpha1kind: IstioOperatorspec:  meshConfig:    defaultConfig:      holdApplicationUntilProxyStarts: true
        tracing: sampling: 100 enablePrometheusMerge: false # 定义扩展的providers extensionProviders: - name: otel-trace zipkin: service: otel-collector.istio-system.svc.cluster.local port: 9411 maxTagLength: 56

        components: ingressGateways: - name: istio-ingressgateway enabled: true

        特别说明:上述extensionProviders 属性中定义了otel-trace,其信息为opentelemetry Collector 的地址(其本身可以接收 zipkin 格式的trace,因此此处定义的是zipkin的信息)

        2.5.2 安装OpenTelemetry Collector

        在https://github.com/open-telemetry/opentelemetry-operator 上按照说明安装OpenTelemetry Collector。假设所安装的K8S Service为:otel-collector.istio-system.svc.cluster.local:9411,其中9411是接收zipkin数据格式的端口。

        opentelemetry-collector-config.yaml的内容如下所示:

        # collector的receivers配置receivers:  otlp:    protocols:      grpc:      http:  zipkin:processors:  batch:  memory_limiter:# collector的exporters配置,exporters:  zipkin:    endpoint: "http://zipkin.istio-system.svc.cluster.local:9411/api/v2/spans"service:  pipelines:    traces:      # 对于trace数据,开启otlp、zipkin协议端口提供服务      receivers: [otlp, zipkin]      processors: [memory_limiter, batch]      # 对于trace数据,最后输出至zipkin中      exporters: [zipkin]

        2.5.3 安装 jaeger

          kubectl apply -f https://raw.githubusercontent.com/istio/istio/release-1.14/samples/addons/jaeger.yaml

          由于 collector exporters 输出的 trace 数据格式为 zipkin,jaege 兼容 zipkin 格式 trace 数据,因此最终 trace 数据可通过 jaeger 展示。

          2.5.4 提交Telemetry CRD

          提交 Telemetry CRD,将 envoy 对接的 trace 的信息变更为 otel-trace,即为 Opentelemetry Collector。

            $ kubectl apply -f mesh-trace-telemetry.yaml

            mesh-trace-telemetry.yaml的内容如下所示:

            apiVersion: telemetry.istio.io/v1alpha1kind: Telemetrymetadata:  name: mesh-trace-telemtry  namespace: istio-systemspec:  tracing:  - providers:    - name: otel-trace    randomSamplingPercentage: 100

            2.5.5 部署Mesh应用

            为对应的命名空间 default 开启自动 Sidecar 注入功能:

              $ kubectl label namespace default istio-injection=enabled --overwrite

              按照K8S的方式部署微服务应用 consumer-demo 和 provider-demo。应用程序说明:

              • consumer-demo:服务消费方,向外提供 HTTP 接口,该接口会调用服务提供方 provider-demo 提供的 HTTP 接口,调用 provider-dem 的调用形式包括 RestTemplate 和 Fegin。

              • provider-demo:服务提供方,提供 HTTP 接口。

              应用程序启动需要加上对应的参数,如下所示:

              # 启动时要指定ja vaagent# -Dotel.resource.attributes=service.name=provider-demo  在span中的service信息# -Dotel.propagators=b3multi 透传b3multi headerja va -ja vaagent:/opentelemetry-ja vaagent.jar -Dotel.resource.attributes=service.name=provider-demo -Dotel.propagators=b3multi -jar provider-demo-1.0-SNAPSHOT.jar

              部署时需要在容器的环境中添加对应的配置:

                env:  - name: OTEL_TRACES_EXPORTER   # ja vaagent输出otlp协议类型数据    value: otlp  - name: OTEL_EXPORTER_OTLP_ENDPOINT   # collector地址    value: http://otel-collector.istio-system.svc.cluster.local:4317  - name: OTEL_JA VAAGENT_ENABLED     # 开启ja vaagent功能    value: 'true'

                2.5.6 观察Mesh监控数据

                如下图为本文consumer-demo和provider-demo在业务访问中产生的监控数据(以监控系统Jaeger为例):

                3.总结

                通过在 Service Mesh 架构中引入 OpenTelemetry,可以总结带来的业务收益如下:

                1. 通过 OpenTelemtry auto-instrumentation 机制可实现无侵入式 Trace 上下文传播,使得业务无感接入 Service Mesh 可观测性。

                2. 通过 OpenTelemtry auto-instrumentation 机制可实现业务内部方法级别的监控数据采集,弥补 Service Mesh 只能在 Sidecar 侧采集监控数据的缺陷。

                3. 通过 OpenTelemetry Logger MDC auto-instrumentation 机制能够将监控信息对应的 trace_id、span_id 等信息配置输出在业务日志中,方便业务排查问题。

                为服务更多客户,百度智能云现已推出服务网格产品CSM(Cloud Service Mesh),为用户提供高可靠、免运维、开放的云原生微服务治理产品,火热公测中,欢迎对服务网格感兴趣的开发者与我们一起探讨实践。

                更多产品介绍与使用请点击阅读原文或直接访问以下链接:

                https://cloud.baidu.com/product/csm.html

                ---------- END ----------

                重磅!云原生计算交流群成立

                扫码添加小助手即可申请加入,一定要备注:名字 - 公司 / 学校 - 地区,根据格式备注,才能通过且邀请进群。

                了解更多微服务、云原生技术的相关信息,请关注我们的微信公众号【百度云原生】!

                本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
                作者最新文章
                系统应用
                相关文章 更多
                centosnginxssl配置最佳实践
                centosnginxssl配置最佳实践

                CentOS系统下,通过SSL(安全套接字层)加密技术,可保障Nginx传输数据的安全性。那么,如何配置Nginx以使用SSL呢?以下是一些最佳实践:获取SSL证书:你可以从Let’s Encrypt免费获取SSL证书,或者购买一个商业证书。使用Certbot工具可以自动化证书的申请和续订过程。安装

                MongoDBLinux配置中的最佳实践有哪些
                MongoDBLinux配置中的最佳实践有哪些

                在Linux系统上如何优化MongoDB配置一 系统层优化使用XFS 或 ext4文件系统,生产环境更推荐XFS(高并发与元数据性能更好);挂载数据盘时启用noatime/nodiratime减少元数据写入;SSD 建议设置较小的readahead(如32),机械盘可适当增大;避免使用NFS存放数据

                LinuxJS日志存储最佳实践
                LinuxJS日志存储最佳实践

                在Linux系统下,若要通过Ja vaScript(Node.js)进行日志存储,有以下一些最佳实践可供参考,这些实践能够保障日志得到有效管理与分析:选择合适的日志库:使用流行的日志库,如winston、pino或bunyan,这些库提供了丰富的功能,包括日志级别、格式化、传输和存储。设置日志级别:

                DebianOracle存储配置最佳实践
                DebianOracle存储配置最佳实践

                在Debian上部署Oracle存储,该如何选择架构?又要如何取舍?优先采用 Oracle ASM 管理数据库存储,按功能划分为两个磁盘组:一个用于 DATA(数据文件、控制文件、在线重做日志等,关键业务可用 HIGH REDUNDANCY 三路镜像),另一个用于 FRA(快速恢复区:归档日志、RM

                Kubernetes生产环境最佳实践
                Kubernetes生产环境最佳实践

                众所周知,Kubernetes很难! 以下是在生产中使用它应遵循的一些最佳实践。遵循这些步骤能够确保更高的安全性和生产效率。毫无疑问,DevOps已经走过了一段很长的路! 借助于Kubernetes编排平台使得公司比以往更快地发布软件。随着容器用于构建和发布软件的使用量不断增加,Kubernetes

                高德最佳实践:Serverless规模化落地有哪些价值?
                高德最佳实践:Serverless规模化落地有哪些价值?

                导读:曾经看上去很美、一直被观望的 Serverless,现已逐渐进入落地的阶段。今年的"十一出行节",高德在核心业务规模化落地 Serverless,由 Serverless 支撑的业务在流量高峰期的表现十分优秀。传统应用也能带来同样的体验,那么 Serverless 的差异化价值又是什么呢?本文

                面试|不可不知的十大Hive调优技巧最佳实践
                面试|不可不知的十大Hive调优技巧最佳实践

                Apache Hive作为一款构建于Apache Hadoop之上的数据仓库软件项目,其作用是实现数据的查询与分析。它在Hadoop的HDFS中充当SQL接口,能够通过类似SQL的接口,对存储于与Hadoop集成的各类数据库及文件系统中的数据进行查询。可以说,对于从事数据开发工作的人员而言,无论是日

                orc软件使用技巧与最佳实践分享
                orc软件使用技巧与最佳实践分享

                OCR软件通过图像预处理、字符识别和后处理将图片文字转为可编辑文本。选择时需关注识别准确率、版面处理及输出格式。预处理可提升质量,识别时应正确设置语言与模式,并善用区域选择。后处理包括校对形近字和整理格式,建立标准化流程与注意数据安全可提高效率。

                C++11实现缓存线程池最佳实践
                C++11实现缓存线程池最佳实践

                一、线程池概述 1.1 线程池概念 线程池技术其实很简单,就是系统里预先准备好一些线程,等任务来了,直接从池子里分配一个去处理。任务处理完了,线程不销毁,而是还回去,继续服务下一个任务。这样一来,创建和销毁线程的开销就被大大降低了。 线程池的特点: 线程复用:相当于把线程当成一次性餐具变成了可重复使

                为什么你的 TP5.1 代码难以维护?MVC 分层重构最佳实践【规范】
                为什么你的 TP5.1 代码难以维护?MVC 分层重构最佳实践【规范】

                说白了,如果TP5.1的Controller层直接跟Db::table()玩上了,验证逻辑到处乱塞,业务判断随手一写,那这控制器早就不是控制器了,而是个“缝合怪调度中心”。这样的代码,维护成本会随着迭代翻着跟头往上涨——不是“难维护”,是“根本不敢动”。 一旦在Controller里看到Db::ta

                查看更多
                精品专题 更多
                装机必备
                装机必备

                正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

                Windows
                Windows

                正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

                PDF教程
                PDF教程

                正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

                Mac软件 更多
                讯飞智作 网页版
                讯飞智作 网页版
                Windows/ macOS/ Linux

                讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

                火山引擎 网页版
                火山引擎 网页版
                Windows/ macOS/ Linux

                火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

                Aperty macOS版
                Aperty macOS版
                macOS

                Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

                WINDOWS 更多
                讯飞智作 网页版
                讯飞智作 网页版
                Windows/ macOS/ Linux

                讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

                火山引擎 网页版
                火山引擎 网页版
                Windows/ macOS/ Linux

                火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

                PixTV 网页版
                PixTV 网页版
                Windows

                PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。