当前位置:

首页 > 系统应用 > 支持gRPC长链接,深度解读Nacos2.0架构设计及新模型

支持gRPC长链接,深度解读Nacos2.0架构设计及新模型

Nacos 简介Nacos源于2008年阿里巴巴的五彩石项目,该项目实现了微服务拆分与业务中台建设。随着云计算与开源环境的兴起,2018年,我们深切感受到开源软件行业的影响力,于是决定将Nacos开源,输出阿里在服务发现与配管管理方面十年的沉淀,推动微服务行业发展,加速企业数字化转型。目前 Naco

本文目录

    Nacos 简介

    Nacos源于2008年阿里巴巴的五彩石项目,该项目实现了微服务拆分与业务中台建设。随着云计算与开源环境的兴起,2018年,我们深切感受到开源软件行业的影响力,于是决定将Nacos开源,输出阿里在服务发现与配管管理方面十年的沉淀,推动微服务行业发展,加速企业数字化转型。

    目前 Nacos 支持主流微服务开发语言 & 主流服务框架和配置管理框架,比如支持 Duboo 和 SCA, 还对接了一些云原生的组件比如 coreDNS 和 sentinel 等。

    客户端语言方面支持诸如 Ja va、go python 等主流语言,还有近期刚发布正式版本的 C# 和 C++,在此感谢所有社区贡献者的支持。

    Nacos 开源 2 年多以来,共发布了 34 个版本,其中有一些比较重要的里程碑版本;Nacos 还非常年轻,有很大的进步空间,欢迎社区及各界大佬一起共同建设。

    Nacos 1.X 架构及问题

    接下来我们看一下 nacos1.x 架构及其分析一下存在的比较重要的问题。首先来看一下架构简图。

    Nacos 1.X 架构层次

    Nacos 1.X 大致分为 5 层, 分别是接入、通信、功能、同步和持久化。

    接入层是用户最直接交互的层面,主要有 Nacos 客户端,以及依赖客户端的 Dubbo 和 SCA 以及用户操作的控制台 Console 组成。客户端和 Console 进行服务和配置操作,统一通过 HTTP 的 OpenAPI 发起通信请求。

    通信层主要基于 HTTP 的短连接请求模型进行,部分推送功能通过 UDP 进行通信。

    功能目前有服务发现和配置管理,这层也就是实际管理服务和配置的业务层。

    同步层有数据同步的 AP 模式 Distro 和 CP 模式 Raft,还有有一个最简易的水平通知 Notify,用处各不相同:

    • Distro:非持久化服务的同步模式。
    • Raft:持久化服务的同步模式、以及使用 Derby 作为配置的存储时同步配置操作。
    • Notify:使用 MySQL 作为配置的存储时,通知其他节点更新缓存及发起配置推送。

    持久化层 Nacos 使用 MySQL、Derby 和本地文件系统来进行数据的持久化 配置信息,用户信息,权限信息存储在 MySQL 或 Derby 数据库中, 持久化服务信息及服务和实例元数据信息存储在本地文件系统。

    Nacos 1.X 架构下的服务模型

    我们通过一个服务发现的流程,再深入熟悉一下 Nacos 1.X 架构和基于当前架构的 Nacos 服务发现模型。

    Nacos 客户端注册服务会通过 OpenAPI 发送 Http 注册服务的请求,请求内容会带上服务信息及实例信息,通常这个步骤是由微服务框架 SCA 和 dubbo 完成。

    服务端收到请求后,会先在 Contoller 中进行数据的读取和校验,比如 IP 是否合法,服务名是否正确等等。校验通过后,如果这个服务是第一次注册,Nacos 会在服务端生成一个 Service 对象,然后把这次注册的实例信息存入这个 Service 对象中;如果 Nacos 服务端已经有了这个 Service 对象,那么就会直接把新注册的实例信息存入对象。这个 Service 对象通过 命名空间+Group+Service 的组合来保证唯一性。

    完成实例存入 Service 的同时,会触发两个事件,其中一个事件是用于数据同步的,Nacos 服务端会根据这个服务是否是临时对象的信息,使用 Distro 或者 Raft 协议进行同步,通知其他的 Nacos 节点该服务发生了变更;另一个事件则通知在该 Nacos 服务节点上订阅了该服务的订阅者,并根据订阅者信息,通过 UDP 的方式,把最新的服务列表推送到订阅者客户端上。这就完成了一次服务注册流程。

    另外,对于那些被定义为持久化的服务的所有信息,都会通过 raft 协议,保证能够写入到文件系统中被持久化。

    最后,其他的 Nacos 节点,在通过同步而进行 Service 变更的时候也会触发通知订阅者的事件,从而使在其他 Nacos 服务节点上订阅该服务的订阅者也能收到推送。

    1.X 架构存在的问题

    粗略介绍了下 Nacos1.X 的架构和服务发现模型,接下来分析一下 Nacos1.X 架构所面临的几个比较重要的问题。

    一句话总结,心跳多,无效查询多,心跳续约感知变化慢,连接消耗大,资源空耗严重。

    • 心跳数量多,导致 TPS 居高不下

    通过心跳续约,当服务规模上升时,特别是类似 Dubbo 的接口级服务较多时,心跳及配置元数据的轮询数量众多,导致集群 TPS 很高,系统资源高度空耗。

    • 通过心跳续约感知服务变化,时延长

    心跳续约需要达到超时时间才会移除并通知订阅者,默认为 15s,时延较长,时效性差。若改短超时时间,当网络抖动时,会频繁触发变更推送,对客户端服务端都有更大损耗。

    • UDP 推送不可靠,导致 QPS 居高不下

    由于 UDP 不可靠,因此客户端测需要每隔一段时间进行对账查询,保证客户端缓存的服务列表的状态正确,当订阅客户端规模上升时,集群 QPS 很高,但大多数服务列表其实不会频繁改变,造成无效查询,从而存在资源空耗。

    • 基于 HTTP 短连接模型,TIME_WAIT 状态连接过多

    HTTP 短连接模型,每次客户端请求都会创建和销毁 TCP 链接,TCP 协议销毁的链接状态是 WAIT_TIME,完全释放还需要一定时间,当 TPS 和 QPS 较高时,服务端和客户端可能有大量的 WAIT_TIME 状态链接,从而会导致 connect time out 错误或者 Cannot assign requested address 的问题。

    • 配置模块的 30 秒长轮询引起的频繁 GC

    配置模块使用 HTTP 短连接阻塞模型来模拟长连接通信,但是由于并非真实的长连接模型,因此每 30 秒需要进行一次请求和数据的上下文切换,每一次切换都有引起造成一次内存浪费,从而导致服务端频繁 GC。

    Nacos 2.0 架构及新模型

    Nacos 2.0 架构层次

    Nacos 2.X 在 1.X 的架构基础上 新增了对长连接模型的支持,同时保留对旧客户端和 openAPI 的核心功能支持。

    通信层目前通过 gRPC 和 Rsocket 实现了长连接 RPC 调用和推送能力。

    在服务端测,新增一个链接层,用来将不同类型的 Request 请求,将来自不同客户端的不同类型请求,转化为相同语意的功能数据结构,复用业务处理逻辑。同时,将来的流量控制和负载均衡等功能也会在链接层处理。

    其他架构分层在大体上保持不变。

    Nacos 2.0 新服务模型

    虽然 Nacos2.0 的在架构层次上并未做太大的变化,但是具体的模型细节却有不小的改动,依旧使用注册服务的流程,再深入了解一下 Nacos2.0 服务模型的变化。

    由于通信采用了RPC方式,所以某一客户端的所有请求,无论是注册还是订阅,都通过同一个链接和同一个服务节点进行。这与之前通过HTTP连接有所不同,那时每次请求可能都在不同的Nacos节点上。如此一来,服务发现的数据内容便从原来的无状态化,转变为了与连接状态绑定的有状态数据。为了适应这一变化,数据模型需要做出调整,因此抽象出了一个新的数据结构,将同一个客户端通过该链接发布和订阅的内容关联起来,暂且命名为Client。这里的Client并非指客户端本身,而是与该客户端相关的数据内容,一个链接对应一个Client。

    当客户端发布了服务时,该客户端所发布的所有服务与订阅者信息会被更新到与该客户端链接相对应的 Client 对象中,然后通过事件机制触发对索引信息的更新。这个索引信息是客户端链接和服务的索引,方便快速聚合生成需要推送的服务纬度的数据。

    索引信息更新完成后,会触发推送事件,此时会将所有和该服务有关的 Client 对象,通过刚产生的索引信息聚合起来,当数据聚合完成后,再从客户端链接中筛选出订阅该服务的订阅者的客户端链接,将推送数据通过该链接,推送回去。这样一次发布变更的主链路就完成了。

    回过头看数据同步,客户端发布了服务时实际更新的对象从原来的 Service 变成 Client 对象,所以需要同步的内容也变成了 Client 对象;同时服务端间的通信方式也会换成 RPC。这里只有真正被客户端更新的 Client 对象会触发同步,如果是通过同步而更新的 Client 对象不会再次触发同步。

    最后看 Metadata,Metadata 是从 1.X 版本中的 Service 对象和 Instance 对象中分离出来的一些属性:比如服务的元数据 label 标签,实例的上下线状态、权重和元数据 label 标签等。这些元数据可以被 openAPI 单独修改,在聚合数据时生效。之所以将元数据拆分出来,区别于基础数据,原因是基础数据比如:ip 端口,服务名等一经发布不应该被修改,而且应当以发布时的信息为准;但其他的原数据,比如上下线状态和权重,通常是在运行过程中动态调节的,因此拆分开之后,分为两条不同的处理工作流应该更加合理。

    Nacos 2.0 架构的优缺点

    前面简要介绍了 Nacos 2.0 的架构和新模型的工作方式,接下来我们分析一下这样的改动有哪些优缺点。

    优点

    • 客户端不再需要定时发送实例心跳,只需要有一个维持连接可用 keepalive 消息即可。重复 TPS 可以大幅降低。

    • TCP 连接断开可以被快速感知到,提升反应速度。

    • 长连接的流式推送,比 UDP 更加可靠;nio 的机制具有更高的吞吐量,而且由于可靠推送,可以加长客户端用于对账服务列表的时间,甚至删除相关的请求。重复的无效 QPS 可以大幅降低。

    • 长连接避免频繁连接开销,可以大幅缓解 TIME_ WAIT 问题。

    • 真实的长连接,解决配置模块 GC 问题。

    • 更细粒度的同步内容,减少服务节点间的通信压力。

    缺点

    没有银弹的方案,新架构也会引入一些新问题:

    • 内部结构复杂度上升,管理连接状态,连接的负载均衡需要管理。

    • 数据又原来的无状态,变为与连接绑定的有状态数据,流程链路更长。

    • RPC 协议的观测性不如 HTTP。即使 gRPC 基于 HTTP2.0Stream 实现,仍然不如直接使用 HTTP 协议来的直观。

    Nacos 2.X 规划

    接下来简单分享下 Nacos 2.X 的后期规划,主要分为文档、质量和 Roadmap。

    在文档和质量方面,Nacos 1.X 都做的不是很好。文档内容较少,仅有简单使用文档;和版本有一定脱节,更新不及时;没有对技术内容的说明,参与贡献难度高。代码质量及测试质量也不是很高,虽然已经使用 checkstyle 进行了 codeStyle 的校验以及开启了社区协作 review。但是这还远远不够。Nacos 2.X 将会逐步更新、细化官网使用文档;通过电子书对技术细节进行解析;通过 Github 展示技术方案,促进讨论及贡献;并且对代码进行大量重构及 UT 和 IT 的治理工作,在未来将 Benchmark 也会开源出来,方便给开源用户进行压测。

    而 RoadMap 方面,Nacos 2.X 会对项目做大幅度的重构,完成初步插件化,并对刚才 2.0 架构的一些缺点,如负载均衡,可观测性进行提升。

    加入我们

    欢迎在 Nacos github 上提交 issue 与 PR 进行讨论和贡献,或加入 Nacos 社区群参与社区讨论。

    除了参与开源,我们也欢迎更多有能力及有意愿的同学加入阿里云共建云原生,详情请看云原生应用平台。

    本文整理自 Spring Cloud Alibaba Meetup 杭州站演讲,点击此处立即参与 1 月 9 日下周六的上海站 Meetup,听 Nacos 用户分享 Nacos 在知名互联网教育公司的落地实践。

    作者简介

    杨翊,花名席翁。Nacos PMC,主要参与的是服务发现模块,和做一些内核重构和提升的工作。Apache SharadingSphere PMC,主要负责和参与过的模块有 路由模块、分布式事务、 数据同步、以及弹性扩容。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    微服务架构设计之正确打开方式
    微服务架构设计之正确打开方式

    简介:近些年随着软件系统架构的发展,我们经历了从单体应用到分布式系统,并且逐步向云原生迈进,而其中微服务架构是最具有代表性,但在微服务设计时又存在各式各样的问题,希望此文能够帮助大家在微服务架构设计时提供思路和指导。 前言&背景 故事开始前先给大家讲一个段子,近些年随着软件系统架构的发展,我们经历了

    如何做讯飞听见后端接口封装与语音服务架构设计-讯飞听见后端接口封装及语音服务架构设计方案
    如何做讯飞听见后端接口封装与语音服务架构设计-讯飞听见后端接口封装及语音服务架构设计方案

    语音识别需求正在全面爆发,这已经不是什么秘密了。讯飞听见作为国内主流的语音转写服务平台,后端能力的开放程度和稳定性,直接决定了它能不能扛住亿级音频文件的处理压力,同时让第三方开发者用得顺手、接入得轻松。这套架构设计,背后其实藏着不少值得聊的细节。 讯飞听见后端接口的分层封装设计 讯飞听见的后端接口,

    Laravel 多租户 SaaS 架构设计思路【干货】
    Laravel 多租户 SaaS 架构设计思路【干货】

    多租户系统需为tenant_id加索引,否则中等数据量下查询响应会从200毫秒升至3秒。全局作用域需手动验证生效,中间件EnsureTenantAccess必须置于路由组最外层。测试需覆盖跨租户边界,确认数据隔离不出错。

    亿图图示怎么制作UML建模图?软件架构设计制图必备步骤
    亿图图示怎么制作UML建模图?软件架构设计制图必备步骤

    要用亿图图示快速做出符合软件开发规范的UML建模图,一个常见的误区是:一上来就堆模板、乱拖符号,画出来的图根本用不了。得先明确图类型,再去调对应的符号库,否则类图映射不到代码结构,序列图里的消息流向也会逻辑断裂——整张图的根基就不稳。先说几个核心判断:图形不是画完就完事,它要能“用”起来。下面直接按

    PHP视频文件处理队列异步执行与任务调度【架构设计】
    PHP视频文件处理队列异步执行与任务调度【架构设计】

    上传视频应避免在Web请求中直接调用FFmpeg,否则会导致进程阻塞、504超时及CPU雪崩。正确架构是返回202后由独立Worker异步消费Redis队列,需处理内存泄漏、参数陷阱及任务状态持久化,实现四态管理与失败重试。

    Golang 企业级开发框架的架构设计思维
    Golang 企业级开发框架的架构设计思维

    企业级Go框架设计以业务约束为起点,通过“约定优于配置”实现目录即契约、路径与handler强绑定、中间件可拆解、服务治理预留钩子、接口面向业务变更等架构实践,将业务约束转化为代码结构。

    thinkphp使用之MVC架构设计与应用【架构篇】
    thinkphp使用之MVC架构设计与应用【架构篇】

    ThinkPHP的MVC架构是请求生命周期的强制规范:控制器命名与文件路径必须严格匹配,模型不能直接new实例而需继承基类,视图渲染必须通过assign和fetch正规流程,所有请求必须经过入口文件public/index.php,任何环节脱钩都会导致功能失效。

    PHP 企业级应用架构与设计的最佳实践问答
    PHP 企业级应用架构与设计的最佳实践问答

    最佳实践:分层架构:模块化、可复用、分离关注点、提高测试性。MVC模式:清晰结构、松散耦合、易于维护。数据库连接管理:连接池、连接复用、连接池限制、超时设置。Composer管理依赖项(实战):安装Composer、创建composer.json文件、运行Composer安装、使用依赖项。

    Golang微服务开发技巧与架构设计
    Golang微服务开发技巧与架构设计

    选择Golang微服务框架需考虑成熟度、社区支持、性能及项目需求。1.GoKit提供丰富的工具和库,适合构建健壮的服务;2.Micro注重易用性,提供完整工具链;3.Gin轻量,适合构建RESTfulAPI。服务发现可使用Consul、etcd或ZooKeeper,服务启动时注册、关闭时注销,客户端通过发现中心获取地址并负载均衡。为提升性能与可伸缩性,应优化代码减少内存分配,利用goroutine和channel处理并发,使用缓存降低数据库压力,结合负载均衡分发请求,并定期使用pprof进行性能分析与优化

    PHP 架构设计与最佳实践
    PHP 架构设计与最佳实践

    PHP架构设计和最佳实践包括:MVC架构:分离模型、视图和控制器组件。依赖注入:通过容器传递依赖关系,提高测试性和可维护性。分层架构:划分层级,明确职责,如演示层、业务逻辑层和数据访问层。缓存:使用缓存工具,如Redis或Memcached,存储数据副本以提高速度。实践案例:一个电子商务网站采用模型-视图-控制器架构,将产品数据存储在模型(Product.php)中,在视图(product.php)中呈现,并通过控制器(ProductController.php)进行控制,通过依赖注入获取产品数据。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。