当前位置:

首页 > 系统应用 > 拥抱云原生,如何将开源项目用k8s部署?

拥抱云原生,如何将开源项目用k8s部署?

k8s以及云原生相关概念近年来一直比较火热,阿丸最近搞了个相关项目,小结一下。本文将重点分享阿里开源项目otter适配k8s部署的改造过程,其中的改造过程和技巧应该适用于将大多数开源项目改造到k8s进行部署。 1.背景 otter是阿里开源的分布式数据库同步系统,基于数据库增量日志解析,并准实时同步

本文目录

    k8s以及云原生相关概念近年来一直比较火热,阿丸最近搞了个相关项目,小结一下。

    本文将重点分享阿里开源项目otter适配k8s部署的改造过程,其中的改造过程和技巧应该适用于将大多数开源项目改造到k8s进行部署。

    1.背景

    otter是阿里开源的分布式数据库同步系统,基于数据库增量日志解析,并准实时同步到本机房或异地机房的mysql/oracle数据库(相关内容可以参考https://github.com/alibaba/otter,本文不做过多赘述)。

    为了充分利用物理资源、快速扩容同步节点、拥抱云原生,决定使用k8s部署otter。

    otter的项目整体上自成一体,出于改造成本考虑,尽量在项目已有基础上,做一些适配,不改动源代码。

    本文将重点分享对于otter适配k8s部署的改造过程,有不当之处,还请多多指教。

    涉及到几个核心内容:

    • otter基本架构

    • dockerfile编写

    • deployment编写

    • 启动脚本改造

    • K8s中固定ip/port访问

    2.otter的基本架构

    典型管理系统架构,manager(web管理)+node(工作节点)

    • manager运行时推送同步配置到node节点

    • node节点将同步状态反馈到manager上

    • 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作

    • 基于Canal开源产品,获取数据库增量日志数据。当然,otter采用了canal的嵌入式模式,不是独立的canal节点。

    基于以上部署架构,我们只需要将otter-manager和otter-node部署到k8s上。

    尤其是otter-node,需要利用k8s实现节点快速水平扩展、计算性能弹性扩缩容。

    2.Dockerfile编写 2.1 otter-manager的Dockerfile

    otter-manager比较简单,包括几个步骤:

    • 使用一个centos的基础镜像

    • 设置时区

    • 创建目录

    • 拷贝下载好的manager.deployer-4.2.18到指定目录

    • 使用启动startup-new.sh脚本启动(这里对原本的启动脚本做了一些改造,后文进行详述)

    具体如下所示:

    2.2 otter-node的Dockerfile

    otter-node稍微有所不同,根据官方文档说明,需要安装aria2来做文件传输。

    注意注意,由于aria2安装非常慢,因此,我们需要先安装aria2作为一个新的基础镜像,然后在新的基础镜像上构建otter-node镜像,能大大提高后续镜像构建速度。

    新的基础镜像如下,命名为registry.xxx.com/xxx/otter-node-base:1.0。

    然后在此基础上构建新的otter-node镜像。

    注意,otter-node的配置方式比较特殊,需要先在otter-admin上获取一个nid,然后才能运行一个otter-node。

    所以,我们在dockerfile中以ARG 声明一个nid,然后在后续构建镜像的时候,通过 --docker-arg 传入nid具体的值。

    当然,如果把nid看作一个配置文件的话,也可以用下文提到的ConfigMap的形式在Deployment中挂载进去

    3.Deployment编写

    什么是Deployment?

    k8s的一个Deployment控制器为 Pods 和 ReplicaSets 提供声明式的更新能力。我们通过编写Deployment描述期望的目标状态,然后 Deployment 控制器更改Pods或者ReplicaSets的实际状态, 使其变为期望状态。

    具体关于Deployment的知识不展开说明,可以参考k8s官方文档。

    我们需要部署测试环境与生产环境两套集群,而无论是otter-manager还是otter-node,都依赖于读取 conf/otter.properties 作为配置。

    因此,我们需要根据环境,修改不同的otter.properties。

    那么,对于k8s部署来说,可以采用同一份镜像,然后在不同环境(k8s的不同namespace)中将otter.properties作为ConfigMap写入,最后通过volume的形式挂载到pod的指定路径上。

    这里对几个名词做简单介绍,详细内容可以参考k8s官方文档。

    • ConfigMap:一种 API 对象,用来将非机密性的数据保存到键值对中。使用时,Pods可以将其用作环境变量、命令行参数或者存储卷中的配置文件。(如果想存储的数据是机密的,可以使用 Secret,而不是ConfigMap)

    • Volume(卷):其核心是一个包含数据的目录,Pod中的容器能够访问该目录。具体采用的卷类型会决定目录的形成方式、保存数据所使用的介质以及目录中存放的内容。在使用卷时,需在.spec.volumes字段中为Pod设置卷,并在.spec.containers[*].volumeMounts字段中声明卷在容器中的挂载位置。

    所以,首先在指定环境(namespace中)创建configmap,以otter.properties作为key,以文件内容作为value。

    具体命令如下

    kubectl create configmap otter-manager-dev-config --from-file=otter.properties=conf/otter-dev.properties -n otter-system

    • 在namespace为otter-system中创建一个名字为otter-manager-dev-config的ConfigMap,其中,以otter.properties作为key,以文件内容作为value。

    产生的ConfigMap如下图所示

    最后,将这个ConfigMap在Deployment中用volume进行引用,然后通过volumeMounts挂载到指定目录,Deployment具体如下所示。

    这里需要特别注意volumeMounts的路径覆盖问题,需要在volumeMounts中配置subPath为具体文件名。

    4.启动脚本改造

    Otter包括两个部分,管理控制台manager和工作运行节点node,正常情况下都是用各自的启动脚本startup.sh启动的。

    为了适配k8s,我们需要对启动脚本做改造,本文以otter-manager的启动脚本为例,otter-node也是类似。

    将启动脚本startup.sh改造为 startup-moon.sh,重点解决两个问题

    • 前台进程保持运行

    • jvm参数自定义改造

    4.1 前台进程保持运行

    由于容器中用entrypoint启动的进程为1号进程,一旦1号进程执行结束,容器就会退出了。

    而原本的startup.sh中,用ja va启动后,使用 “&” 将ja va进程转换为后台进程,所以startup.sh作为1号进程会很快执行结束,容器就会自动退出了。

    所以我们需要将1号进程保持住,不要退出。

    这里考虑了两个方案:

    • Startup.sh脚本中增加一个前台进程进行保持,比如 tail -f /dev/null 命令

    • 将“&”去掉,让ja va启动后就作为前台进程一直保持

    后来考虑了一下,还是选择了方案二。主要原因是为了利用pod自动重启的特性。

    如果Ja va进程意外退出了,那么方案二就能使得1号进程也结束,然后pod就能自动重启了。而方案一的话,由于startup.sh脚本仍然在执行tail,所以即使ja va进程退出,1号进程也不会结束。

    具体修改如下:

    最终pod中的进程如图所示

    • 1号进程是启动脚本

    • 1号进程的子进程是otter的ja va应用进程(前台进程)

    4.2 虚拟机大小自定义配置

    由于otter项目中,将jvm的启动参数配置在了start.sh中,不方便进行手动配置。

    因此,将start.sh的配置jvm参数的逻辑注释掉,采用自己配置的环境变量JA VA_OPTIONS进行注入。

    这个环境变量的注入方式也比较简单,就是在Deployment中的env配置的(蓝色框部分),方便以后手动修改jvm参数大小而不用修改镜像。

    5.k8s上固定IP/Port访问

    otter-node的部署中,有个比较特殊的地方。

    otter-node的部署与普通微服务的无状态扩展有所不同,它必须指定nid、ip和port。这种设计的初衷是为了解决单机部署多实例的问题,使得单机上的多个node可以指定不同的端口(具体细节可参考官方wiki,地址为https://github.com/alibaba/otter/wiki/Node_Quickstart,在此不做详细阐述)。

    还是直接看看如何在k8s上进行适配吧。

    这里采用了k8s的NodePort进行处理。

    NodePort 服务是引导外部流量到你的服务的最原始方式。NodePort,正如这个名字所示,在所有节点(虚拟机)上开放一个特定端口,任何发送到该端口的流量都被转发到对应服务。如下图所示。

    在上面的配置中,可以使用IP1:3000 或者 IP2:3000 或者 IP3:3000 访问service。

    当然,为了保证不绑定特定KVM的IP,我们在前面挂一个SLB服务,通过访问SLB的 虚拟IP:PORT 的形式访问。

    对于otter部署来说,otter-manager需要两组 IP:PORT、每个node需要三组 IP:PORT。

    注意,由于otter部署中,每个node需要暴露的port都是不同的,所以每次新增一个otter-node,都需要新增三组 IP:PORT。

    我们以otter-node为例,来看下NodePort类型的Service的yml文件吧。

    • kind为service

    • type为NodePort

    • 配置了三组端口。port/targetport都是应用暴露端口,而nodePort是对外访问端口。

    6.总结

    经过这样的改造,我们就能用k8s的部署otter-manager和otter-node了,并且能够快速扩容节点、弹性使用机器资源。

    我们回顾一下其中的关键问题和技巧:

    • Dockerfile编写中,可以把环境相关依赖打成一个新的基础镜像,提高后续应用镜像的构建速度。

    • Dockerfile中,可以通过ARG定义一些构建过程中的变量,进行替换。

    • 对于不同环境的配置文件,可以在不同环境(k8s的namespace)下配置不同的ConfigMap,然后在Deployment文件中通过volumeMounts的方式挂载进去。

    • 对于后台进程,需要改造为前台进程使得pod能够保持

    • 对于一些特定的环境变量,可以在Deployment中通过env进行传入。

    其他开源项目如果有需要上k8s的,这些技巧应该都能用上。

    如果你有更好的一些方式和技巧分享,欢迎留言交流~~~

    往期热门笔记合集推荐:

    • HBase原理与实战笔记合集

    • MySQL实战笔记合集

    • Canal/Otter源码与实战笔记合集

    • Ja va实战技巧笔记合集

    扫描下方二维码可以关注我哦~

    觉得不错,就点个 再看吧

    本文分享自微信公众号 - 阿丸笔记(aone_note)。
    如有侵权,请联系 support@oschina.cn 删除。
    本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    7个高Star开源项目带你轻松玩转微服务
    7个高Star开源项目带你轻松玩转微服务

    今天为大家推荐的是 Gitee 上微服务相关的高 Star 开源项目,其中有开发平台、框架、工具包等等,一定能够让你的微服务之路如虎添翼,一起来看看它们都是谁吧!1.SpringBlade开源许可协议: Apache-2.0项目地址:https://gitee.com/smallc/SpringBl

    七大赛道 TOP 10 公布!Gitee 年度开源项目评选结果正式揭晓
    七大赛道 TOP 10 公布!Gitee 年度开源项目评选结果正式揭晓

    Gitee2025年度开源项目评选结果揭晓,历时数月,吸引数千项目参与,评选覆盖七大技术赛道,各产生十大榜单,并同步公布三项特别荣誉。入选项目将获得首页推荐、官方宣传等全方位平台级支持,助力项目发展。

    Notepad++开源项目持续维护:社区贡献推动软件长期发展
    Notepad++开源项目持续维护:社区贡献推动软件长期发展

    Notepad++作为免费开源的文本编辑器,凭借轻量、稳定、开放的特点,在社区贡献下持续迭代。插件生态丰富,用户从使用者转变为共建者,推动软件功能完善与兼容性优化,在激烈市场竞争中保持长期发展。

    Apache Subversion 生态依旧活跃:开源项目迈向长期维护时代
    Apache Subversion 生态依旧活跃:开源项目迈向长期维护时代

    ApacheSubversion开源项目已走过21年,社区保持稳健更新,聚焦长期稳定性、企业兼容性与安全更新。在政府、医疗、制造等关键行业,SVN仍是核心代码管理基石。稳定可靠是技术最本质的价值。

    敲开平台壁垒:开源全能手柄固件 Joypad OS 发布,微软索尼任天堂都能用
    敲开平台壁垒:开源全能手柄固件 Joypad OS 发布,微软索尼任天堂都能用

    敲开平台壁垒:开源全能手柄固件 Joypad OS 发布,微软索尼任天堂都能用 1月23日,游戏圈传来一个挺有意思的消息:一款名叫 Joypad OS 的开源手柄固件,在 GitHub 上发布了它的首个版本。这个项目的野心可不小,它基于 USBRetro,目标直指一个让所有玩家都心动的愿景——“让玩

    Go语言开源项目的最新情况
    Go语言开源项目的最新情况

    Go语言作为一门轻量级、高效率的编程语言,在近年来逐渐受到开发者的青睐。其简洁的语法、高效的编译速度以及强大的并发特性,使得Go语言在各个领域的应用越来越广泛。为了更好地促进Go语言的发展,许多开源项目涌现出来,不仅丰富了Go语言的生态系统,也为开发者提供了更多的工具和资源。本文将探讨Go语言开源项目的现状,包括其关键特点、热门项目和未来发展方向。一、Go语

    推荐充满活力的 Java JPA 开源项目,为你的项目增添新的动力
    推荐充满活力的 Java JPA 开源项目,为你的项目增添新的动力

    在Java编程领域,JPA(JavaPersistenceapi)作为一种流行的持久化框架,为开发者提供了对关系型数据库进行操作的便捷方式。通过使用JPA,开发者可以轻松地将Java对象持久化到数据库中,并从数据库中检索数据,从而极大地提高了应用程序的开发效率和维护性。本文精心挑选了10个高质量的JavaJPA开源项目,涵盖了各种不同的功能和应用场景,旨在为开发者提供更多的灵感和解决方案,助力打造更高效和可靠的应用程序。这些项目包括:SpringDataJPA:springDataJPA是Spring生态

    窥探Go语言开源项目的神秘面纱:五个推荐项目解析
    窥探Go语言开源项目的神秘面纱:五个推荐项目解析

    Go语言在近年来的快速发展中备受关注,越来越多的开发者加入到Go语言的行列中。而正是由于Go语言的高效性能和简洁易读的语法,使得Go语言成为许多开发者心目中的首选语言。本文将介绍五个值得推荐的Go语言开源项目,带你一窥Go语言开发的神秘面纱。GinGin是一个轻量级的Web框架,借鉴了Martini框架的优点并进行了改进。Gin拥有高性能的路由器和中间件支持

    必看的五个Go语言开源项目盘点
    必看的五个Go语言开源项目盘点

    Go语言是一种编译型的静态类型语言,由谷歌开发并于2009年首次公开。自公开以来,Go语言凭借其简洁、高效、安全以及并发性能等优势,迅速走红并得到广泛应用。作为开源项目的一部分,Go语言的生态系统也在不断壮大。本文将为大家盘点五个不可错过的Go语言开源项目,希望可以为大家提供一些参考和借鉴。Gorilla/muxGorilla/mux是一个强大而灵活的HTT

    探索Go语言开源项目的无尽潜力:五个项目值得注意的综述
    探索Go语言开源项目的无尽潜力:五个项目值得注意的综述

    近年来,Go语言在软件开发领域的应用越来越广泛,吸引了众多开发者的关注和参与。Go语言以其高效的性能、简洁的语法和强大的并发特性,成为了许多开发者的首选语言。在Go语言的生态系统中,开源项目扮演着非常重要的角色,为开发者提供了各种优秀的工具和库。本文将概述五个值得关注的Go语言开源项目,以展示Go语言在软件开发领域的无限潜力。GinGin是一个基于Go语言的

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。