当前位置:

首页 > 系统应用 > Harbor在网易轻舟微服务平台的应用实践

Harbor在网易轻舟微服务平台的应用实践

本文节选自《Harbor权威指南》,首发“亨利笔记”公众号,精选网易数帆旗下网易轻舟微服务平台集成 Harbor 的方式和应用场景,读者既可以了解 Harbor 的特性和使用模式,也可以在方案制定和管理实践上借鉴成功经验。网易轻舟微服务团队使用的是 Harbor 1.7 版本,对该版本进行了性能上的

本文目录

    本文节选自《Harbor权威指南》,首发“亨利笔记”公众号,精选网易数帆旗下网易轻舟微服务平台集成 Harbor 的方式和应用场景,读者既可以了解 Harbor 的特性和使用模式,也可以在方案制定和管理实践上借鉴成功经验。

    网易轻舟微服务团队使用的是 Harbor 1.7 版本,对该版本进行了性能上的优化和功能上的增强,并将增强的 Webhook 功能贡献回 Harbor 项目。

    为满足网易的音乐、电商、传媒、教育等业务线的微服务化需求,网易杭州研究院研发了一套完整的云原生应用管理平台——网易轻舟微服务,平台以 Docker、Kubernetes、Harbor、Istio 为基础设施,构造了 DevOps、微服务等一套完整的解决方案,并将其开放给第三方企业解决业务容器化和服务治理等问题。该平台在生产环境集群中曾达到单集群运行 10000个节点的规模。

    轻舟微服务平台的整体架构如下图所示。

    该平台基于 Harbor 提供了镜像仓库功能,并为 PaaS 平台的其他功能提供服务,上层的微服务系统则依赖 PaaS 平台提供的服务,配套日志、监控等平台功能,完成了从项目研发到服务治理的全生命周期管理。网易轻舟团队在 Harbor 上做了一层业务开发,使得轻舟镜像仓库支持多租户、多项目、多环境,并且和轻舟微服务平台数据模型、权限模型打通,将镜像仓库功能融入多个业务流程中,将应用的上下游贯通,形成一套完整的应用管理和交付流程。

    1.Harbor 的使用

    网易轻舟微服务平台中镜像仓库服务的核心架构见下图。轻舟镜像仓库服务与轻舟容器云服务共同构成中间层服务,是轻舟DevOps平台的重要支撑。轻舟镜像仓库服务能够对多套Harbor进行管理,将仓库资源合理分配给不同的Kubernetes集群,实现集群级别的资源隔离,通过Harbor的开放API对每个实例下的数据资源进行管理。此外,轻舟镜像仓库服务还负责让Harbor与轻舟微服务平台的数据模型保持一致,打通二者的权限系统,这样用户就可以利用轻舟微服务平台的账号和权限来管理镜像了。

    轻舟微服务平台的 Harbor 之间可以通过远程复制的方式同步镜像,做到研发和运维人员在不同环境下的协作。用户可以为项目不同环境下的集群分配不同的 Harbor 实例,例如线下使用一套 Harbor,线上使用另一套 Harbor,并且配置合适的复制规则,将测试通过的镜像推送到线上仓库中发布和使用。这种设计在线上线下环境网络隔离并且应用发布更新频繁的场景中非常实用,用户只需连通两套 Harbor 之间的网络,就可以在集群中使用私有网络分发镜像,如下图所示。

    这样的架构有以下好处。

    (1)线上线下镜像仓库隔离,防止误操作。

    (2)测试环境通常会频繁构建镜像、部署、测试,所以线下环境中 Harbor 的负载较大,运维复杂性高,服务不可用率更高,分开后可以保证线上环境的稳定性。

    (3)配置适当的 Harbor 远程复制策略,只有经过测试且需要发布的镜像才会由 Harbor 复制到线上仓库,大大减少了线上 Harbor 的镜像数量,性能更好,清理垃圾镜像等运维过程更简单。(本文为公众号亨利笔记原创文章)

    (4)线上线下环境网络在正常情况下是互相隔离的,既可减少网络间的镜像拉取,节省流量费用,也确保了线上系统的安全。

    为了保证 Harbor 的稳定性和高性能,轻舟微服务平台的 Harbor 后端采用了网易对象存储及 S3 对象存储驱动并且做了性能优化。

    2.实现 Harbor的高可用性

    Harbor 高可用的一种可行方案是部署两个 Harbor 实例,这两个 Harbor 实例共享存储并且可以各自独立工作,通过负载均衡统一对外提供服务。如果每个 Harbor实例内部的组件没有冗余的能力,则此架构有一定的潜在问题:当一个 Harbor 实例的后端组件发生故障时,负载均衡器可能依旧把请求发送到这个 Harbor 实例(因为前端依然正常),但是这个请求最终处理失败。所以 Harbor 的高可用方案需要 Harbor 的每个组件都有冗余设计,使每个组件都有高可用性,任何一个组件出现故障都不会影响 Harbor 整体对外提供服务。

    Harbor 要实现高可用,还需要解决以下问题。

    (1)Harbor 使用的 PostgreSQL 数据库在国外应用广泛,本身提供了主备复制,但是整体的高可用性还比较欠缺。早期轻舟微服务平台基于主备复制实现了高可用性及一套复杂的人工运维方案。后来使用了开源项目 Stolon,实现了云上 PostgreSQL 的高可用和故障自愈能力,满足了 Harbor 对数据存储的要求,运行稳定,运维工具丰富,对 Harbor 的私有化交付非常有利。

    (2)Harbor 使用 Redis 作为缓存,只支持单一的地址配置,并不支持 Redis 哨兵或者 Redis 集群等常见的高可用架构。Harbor 社区有一套基于 HAProxy 的方案,能满足 Harbor 生产级的应用,其中的一些参数需要用户调试和设置。(本文为公众号亨利笔记原创文章)

    (3)异步任务执行日志和镜像等数据需要使用网盘或者对象存储,轻舟团队给 Harbor 贡献了一个功能:从 Harbor 1.7 开始支持将异步任务执行的日志放入数据库中,不再依赖于网盘或对象存储。镜像数据的高可用可以通过网盘或者对象存储解决,但是维护成本较高。轻舟微服务平台基于 Rsync 和 Inotify 实现了一套文件自动同步方案,保证了本地文件模式下主备数据的一致性。该方案需要允许极少正在处理的镜像丢失,但是系统非常轻量,可配合相应的监控方案保证主备同步及时、有效。另外,此方案的数据迁移和备份非常方便,用户可以通过 Rsync 实现数据的远程冷备份。

    监控告警在确保 Harbor 的高可用性上不可缺少。Harbor 是被部署在 Kubernetes 集群中的,并使用 Prometheus 提供监控告警功能,目前的监控项有以下几方面。

    ◎Harbor 部署主机的资源使用情况。

    ◎Harbor 服务的容器健康情况,这是 Harbor 提供的功能。

    ◎Harbor 业务健康监控,比如复制失败告警、扫描失败告警等,可以通过对 Harbor 增加度量接口实现,也可以通过 Harbor 的 Webhook 功能实现。

    3.提高Harbor的性能

    Harbor 的性能主要涉及镜像并发推送和拉取、镜像复制、GC 等方面。作为镜像仓库,大规模镜像的分发能力是最能评估 Harbor 性能的。(本文为公众号亨利笔记原创文章)

    网易单个业务的副本数可以达到成百上千的规模,持续集成流水线规模也很大,所以需要关注 Harbor 的镜像并发推送和拉取性能。Harbor 1.7 及之前的版本因为Golang 语言包的问题,并发拉取超过一定频率会出错。其他要考虑的是大规模推送和分发面临的带宽问题,无论是Harbor服务的网络带宽还是后端存储的 I/O 带宽,都可能成为性能瓶颈。

    解决带宽问题有多种方案:扩容、增加缓存、使用分布式镜像分发工具。轻舟团队在尝试了多种方式之后,决定采用 P2P 镜像分发系统。目前轻舟镜像仓库集成了 Uber 开源的 Kraken 项目作为 P2P 分发工具,配上合适的监控方案,可较好地解决大规模镜像分发的问题。

    4.镜像仓库和DevOps

    有的用户可能会觉得镜像仓库只是一个文件仓库,是用来存放镜像的,其实这忽略了镜像仓库的重要意义。在 CNCF 的应用交付特别兴趣小组(AppDelivery SIG)中就有应用打包的专题。在实际应用中,镜像仓库是应用交付流程中的一个重要环节,能起到打通整个应用交付流程的作用。应用从代码编写到部署上线,经历了代码、制品、镜像、工作负载的流程,这又涉及编译、构建、部署等 CI/CD 的核心流程,贯穿于这个流程中的就是镜像,所以镜像仓库意义非凡。

    在以应用为核心的 DevOps 流程中,人们都会关注应用的演进过程,关注应用的生命周期,所以围绕镜像设计应用的版本管理,将代码、镜像、部署关联起来,从而让用户追踪代码的最终交付,追踪云上服务的代码源头,让用户流畅地操作应用的交付流程,并从应用的视角贯穿这个 CI/CD 流程。社区提出的“源代码到镜像”概念,使流程对终端用户透明,用户只需关注具体业务的开发过程,其他都是自动化完成的,而连接用户和运维的正是这些过程的产出品。(本文为公众号亨利笔记原创文章)

    镜像管理也是 CI/CD 流程的一部分,Webhook 可以触发部署流水线,漏洞扫描是云原生应用安全的核心功能,镜像远程复制可以解决跨云部署的问题。这些特性都真真切切地将 Harbor 嵌入 DevOps 的流程中,并且在每个环节中都发挥着作用。

    5.网易和Harbor社区

    网易曾有自研的镜像仓库产品,但在 Harbor 开源的后,轻舟团队开始关注 Harbor社区的发展,并在产品中引入 Harbor。一方面 Harbor 本身功能比较完善,社区活跃,发展较快;另一方面 Harbor 是 CNCF 镜像仓库项目,是开放的社区,符合网易轻舟微服务的发展路线。

    网易把Harbor设定为镜像仓库的标准,围绕其功能构建了丰富的使用场景。同时,网易积极投入,对Harbor的功能进行优化和增强,并将成果贡献、回馈给社区。轻舟团队为Harbor增添了异步任务日志的数据库功能,参与了镜像复制功能的开发,独立贡献并维护了Webhook功能,还投身于P2P分发功能的研发。除了功能上的贡献,轻舟团队还对Harbor进行了大量生产级测试,向社区提交了其性能瓶颈问题和优化点。

    作者简介:裴明明,网易数帆轻舟事业部资深架构师,Harbor开源项目维护者,主要负责网易轻舟云原生DevOps体系设计、研发及落地等,在云原生、DevOps、微服务架构等领域拥有丰富的经验。

    《Harbor权威指南》目前当当网优惠中,大家可以搜索购买。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用 网易
    相关文章 更多
    网易2026年Q2财报:营收301亿元,游戏收入增10%,三款重点新游披露进展
    网易2026年Q2财报:营收301亿元,游戏收入增10%,三款重点新游披露进展

    网易2026年Q2总营收301亿元,游戏及相关增值服务净收入250亿元,同比增长10%。管理层在财报电话会上披露:《遗忘之海》经优化后口碑改善,正筹备全球发行;《无限大》研发顺利,将在科隆游戏展公开进展;《雾海之下》与《诡影藏锋》处于体验打磨阶段。未来战略聚焦精品内容投入与AI技术应用。

    网易LOFTER手机版设置允许接受礼物的方法
    网易LOFTER手机版设置允许接受礼物的方法

    网易LOFTER手机版,作为一款泛兴趣社区应用,可是为用户精心挑选并推送了海量优质的图文与视频内容哦!它支持沉浸式阅读、动态浏览以及互动创作。用户不仅能在游戏、二次元、摄影、影视、绘画、旅行、文学、时尚等多元领域尽情遨游,还可以通过发布图文笔记、短视频等方式来表达自我,甚至开启礼物打赏功能,收获来自

    美股异动丨网易盘前涨近3% 将转为双重主要上市有望入通 获多家大行看好
    美股异动丨网易盘前涨近3% 将转为双重主要上市有望入通 获多家大行看好

    网易美股盘前涨2.9%,因即将转为双重主要上市,有望快速纳入港股通。多家大行看好,认为增量资金将改善流动性,叠加《遗忘之海》等游戏催化剂,摩根士丹利维持增持评级,目标价158美元。

    网易LOFTER手机版设置不显示支持榜单支持力的方法
    网易LOFTER手机版设置不显示支持榜单支持力的方法

    网易LOFTER手机版作为一款泛兴趣社区应用,汇聚了海量优质的图文与短视频内容。它不仅能让用户进行深度阅读、浏览视频、讨论娱乐八卦,还具备约稿对接、创作发布、互动打赏等多种功能,助力用户高效地找到同好,建立圈层连接。用户既可以沉浸式浏览游戏、二次元、摄影、影视、文学等垂直领域的内容,也能够自主发布原

    网易LOFTER手机版设置生成视频保护的方法
    网易LOFTER手机版设置生成视频保护的方法

    网易LOFTER手机版,作为一个备受欢迎的泛兴趣社交平台,允许用户以图文、短视频等多种形式发布原创内容。为了充分保障创作者的权益,平台特意配备了多种版权防护机制。其中,“生成视频保护”功能尤为重要,它能够阻止他人对已发布的视频动态进行二次分享传播,从而有效降低视频被盗用和不当转载的风险,切实维护视频

    网易LOFTER手机版设置一键清除缓存数据的方法
    网易LOFTER手机版设置一键清除缓存数据的方法

    网易LOFTER移动客户端,是一个将内容创作、兴趣社交以及多媒体浏览融合在一起的互动平台。它支持发布图文、短视频、音频、二次元作品以及长文阅读等功能,方便用户在游戏、摄影、绘画、旅行、文学等多个兴趣圈层中交流互动。随着使用时间的增加,应用会自动缓存浏览过的图片、视频、文章等内容,这会导致本地存储空间

    网易CC直播8月31日起停运,全平台下载入口、充值渠道今起关闭
    网易CC直播8月31日起停运,全平台下载入口、充值渠道今起关闭

    网易CC直播因运营策略调整,将于2026年8月31日15:00停运,6月30日起关闭下载、充值及新用户注册。未使用的收费C券和金锭将按比例转换为网易点数,可用于旗下其他游戏。该平台前身为2009年上线的网易CC,运营近17年。

    网易旗下游戏娱乐直播平台“CC直播”将于8月底停运
    网易旗下游戏娱乐直播平台“CC直播”将于8月底停运

    网易旗下CC直播因产品运营策略调整,将于2026年8月31日停运。2026年6月30日起关闭下载和充值通道,停止新用户及主播入驻。此举反映网易在直播业务上的战略收缩,聚焦核心游戏。两年缓冲期为主播和公会提供迁移时间。

    网易LOFTER手机版设置隐藏关注流问答的方法
    网易LOFTER手机版设置隐藏关注流问答的方法

    网易LOFTER可是个好地方,它为用户们汇聚了海量优质文章内容。在这里,你不仅能参与娱乐话题讨论,还能收听有声书、观看视频,内容丰富得很,生态也多元得很。另外,这个应用还内置了问答发布功能,你发布的问答会默认出现在自己的关注流里。要是你不想看到这部分内容,咋办呢?很简单,通过偏好设置启用“隐藏关注流

    免费注册163邮箱
    免费注册163邮箱

    163邮箱个人免费版注册入口在mail.163.com,用户需准备手机号、设置邮箱名与高强度密码后,通过电脑端选择手机或字母注册方式填写信息并验证,完成注册后建议绑定备用邮箱、开启二次验证以提升安全性。 还在问163邮箱个人版的免费注册入口到底在哪?这个看似简单的问题,每天被搜索的次数可不少。今天,

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。