当前位置:

首页 > 系统应用 > Argo基于Kubernetes原生工作流加入CNCF孵化器

Argo基于Kubernetes原生工作流加入CNCF孵化器

Argo(https://argoproj.github.io/projects/argo) 项目是一组 Kubernetes 原生工具集合,用于运行和管理 Kubernetes 上的作业和应用程序。Argo 提供了一种在 Kubernetes 上创建工作和应用程序的三种计算模式 – 服

本文目录

    Argo(https://argoproj.github.io/projects/argo) 项目是一组 Kubernetes 原生工具集合,用于运行和管理 Kubernetes 上的作业和应用程序。Argo 提供了一种在 Kubernetes 上创建工作和应用程序的三种计算模式 – 服务模式、工作流模式和基于事件的模式 – 的简单组合方式。所有的 Argo 工具都实现为控制器和自定义资源。

    • 更多参考:
      • Argo快速安装与使用

    Argo 项目:面向 K8s 的工作流

    DAG (Directed acyclic graph,有向无环图) 是一个典型计算机图论问题,可以用来模拟有相互依赖关系的数据处理任务,比如音视频转码,机器学习数据流,大数据分析等。

    Argo最初是凭借workflow在社区崭露头角的。其Workflow项目的名称正是Argo,这可是Argo组织最早的项目哦。Argo Workflow专注于Kubernetes Native Workflow的设计,具备声明式工作流机制,能以CRD模式与Kubernetes集群完美兼容。每个任务都以Pod的形式运行,Workflow提供了DAG等依赖拓扑,还能通过Workflow Template CRD实现多个Workflow之间的组合与拼接。

    上图就是一个典型的 DAG 结构,Argo Workflow 可以根据用户提交的编排模板,很容易的构建出一个有相互依赖关系的工作流。Argo Workflow 就可以处理这些依赖关系,并且按照用户设定的顺序依次运行。

    Argo CD 是另一个最近比较知名的项目。Argo CD 主要面向 Gitops 流程,解决了通过 Git 一键部署到 Kubernetes 的需求,并且能够根据版本标识快速跟踪,回滚。Argo CD 还提供了多集群部署功能,能够打通多个集群之间同一应用部署问题。

    Argo Event 提供基于事件依赖关系的声明式管理,以及基于各种事件源的 Kubernetes 资源触发器。Argo Events 的常见用法是触发 Argo 工作流并为使用 Argo CD 部署的长期服务生成事件。

    Argo Rollout 是为了解决多种部署形式而诞生的项目。Argo Rollout 能实现多种灰度发布方式,同时结合 Ingress, Service Mesh 等方式完成流量管理与灰度测试。

    Argo 各个子项目既可以单独使用,也可以结合使用。一般而言,结合使用多个子项目能够发挥 Argo 更大的能力,并且实现更多的功能。

    使用 Argo 中遇到的问题与解决方法

    阿里云最早落地的是 Argo Workflow,在使用 Argo Workflow 时第一个问题就是权限管理。Argo Workflow 每一个具体的任务都是通过 Pod 来执行,同时有一个 sidecar 容器来监听主任务的进行。这里的 sidecar 监听方式是通过 mount docker.sock 来实现,这就绕过了 Kubernetes APIServer RBAC 机制,无法实现对于用户权限的精确控制。我们与社区一起合作开发,实现了 Argo Kubernetes APIServer Native Executor 功能,sidecar 能够通过 service account 监听 APIServer 来获取到主容器的动态与信息,实现了 Kubernetes RBAC 的支持与权限收敛。

    在DAG解析过程中,Argo Workflow会依据Workflow label对所有Pod状态进行扫描,以此来决定下一步的动作。不过,每次扫描都是串行执行的。当集群中的Workflow数量较多时,扫描速度就会变得缓慢,导致工作流的任务长时间处于等待状态。基于此,我们开发了并行扫描功能,将所有扫描动作通过goroutine实现并行化,从而大幅提升了工作流的执行效率。原本需要运行20小时的任务,如今仅需4小时就能完成。该功能已回馈给社区,并在Argo Workflow v2.4版本中发布。

    在实际生产中,Argo Workflow 执行的步数越多,占用的空间越多。所有的执行步骤均记录在 CRD Status 字段里面。当任务数量超过 1000 步的时候,就会出现单个对象过大,无法存储进入 ETCD,或者会因为流量过大,拖垮 APIServer。我们与社区合作开发了状态压缩技术,能够将 Status 进行字符串压缩。压缩后的 Status 字段大小仅为原来大小的 20 分之一,实现了 5000 步以上的大型工作流运行。

    Argo 在基因数据处理场景的落地实践

    AGS(阿里云基因计算服务)主要应用于基因组测序二级分析,通过 AGS 加速 API 只需要 15 分钟即可完成一个 30X WGS 的基因比对、排序、去重、变异检测全流程,相比经典流程可加速 120 倍,比目前全球最快的 FPGA/GPU 方案仍能提速 2-4 倍。

    通过分析个体基因序列的突变机制,可为遗传病检测、肿瘤筛查等提供有力支撑,未来将在临床医学和基因诊断方面发挥巨大作用。人类全基因组有约 30 亿个碱基对,一个 30X 的 WGS 测序数据量大约在 100GB。AGS 在计算速度、精准度、成本、易用性、与上游测序仪的整合度上具有极大优势,同时适用于 DNA 的 SNP/INDEL 以及 CNV 结构变异检测,以及 DNA/RNA 病毒检测等场景。

    AGS 工作流是基于 argo 实现的,为 Kubernetes 提供容器化的本地工作流程。工作流程中的每个步骤都定义为容器。

    工作流引擎是作为 Kubernetes CRD(自定义资源定义)实现的。因此,可以使用 kubectl 管理工作流,并与其他 Kubernetes 服务本地集成,例如 Volumes、Secrets 和 RBAC。工作流控制器提供完整的工作流程功能,包括参数替换,存储,循环和递归工作流程。

    阿里云在基因计算场景下使用 Argo Workflow 在 Kubernetes 集群上运行数据处理分析业务,能够支持超过 5000 步以上的大型工作流,且能够比传统数据处理方式加速百倍。通过定制化的 Workflow 引擎,极大的便捷了基因数据处理的效率。

    作者简介:

    陈显鹭,阿里云技术专家,深耕 Docker&Kubernetes 多年 是 Docker 多个项目的 Contributor, Kubernetes Group Member,《自己动手写 Docker》作者。专注于容器技术的编排与基础环境研究。爱好折腾源代码 热爱开源文化并积极参与社区开源项目的研发

    郡宝,Kubernetes 项目贡献者,Kubernetes 和 Kubernetes-sigs 社区成员。在容器、K8S 领域有多年的实践经验,目前就职于阿里巴巴云计算容器服务团队,主要研究方向有容器存储、容器编排 、 AGS 产品等领域。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用 cf
    相关文章 更多
    专访CNCF大使张磊:让云原生不再是大厂专属
    专访CNCF大使张磊:让云原生不再是大厂专属

    近日,GitHub 上的 Go 语言趋势榜出现了一个新的项目 —— KubeVela。据项目官方文档,KubeVela 是“一个简单易用且高度可扩展的应用管理平台与核心引擎,KubeVela 是基于 Kubernetes(K8s)与 Open Application Model(OAM)技术构建的”

    开始了!2020年CNCF中国云原生调查
    开始了!2020年CNCF中国云原生调查

    CNCF云原生调查把脉社区,以便更好地了解CNCF项目和云原生技术的采用情况。调查结果会载入报告和大家分享,突出我们在各个行业中观察到的新的变化趋势。问卷链接:https://www.wjx.cn/jq/97146486.aspx点击【阅读原文】直达问卷链接。扫描二维码联系我们!CNCF (Clou

    雷神CF25F300W电竞显示器上市:1080P/320
    雷神CF25F300W电竞显示器上市:1080P/320

    雷神新款CF25F300W电竞显示器现已正式上市,其采用1080P全高清分辨率并支持320Hz超高刷新率,搭载华星光电FastIPS快速液晶面板,拥有1毫秒极速响应时间,HDR峰值亮度高达450尼特,覆盖99%sRGB广色域,同时具备暗部增强与低蓝光护眼功能,售价仅799元,性价比极高。

    骨伽推出三面玻璃机箱CFV220 RGB:中部进气形成顺畅风道
    骨伽推出三面玻璃机箱CFV220 RGB:中部进气形成顺畅风道

    骨伽CFV220RGB机箱三面玻璃侧透,中空悬浮气流散热,底部进气室风道集成ARGB灯带。支持背插主板,兼容420mm显卡、160mm电源、360冷排,预装三颗120mmARGBPWM风扇。

    闪迪发布CFexpress 4.0存储卡:读速3700MB/s 支持12K视频
    闪迪发布CFexpress 4.0存储卡:读速3700MB/s 支持12K视频

    闪迪至尊超极速CFexpress4.0TypeB存储卡上架,读速3700MB/s,写速3500MB/s,容量128GB至4TB,售价3499元至29999元。支持8K、12KRAW视频连续录制,可承受5米跌落与7公斤压力,具备Smartidle低功耗模式,提供终身有限质保,面向专业摄影师与视频创作者。

    闪迪推出至尊超极速CFexpress 4.0 TypeB存储卡,3499元起
    闪迪推出至尊超极速CFexpress 4.0 TypeB存储卡,3499元起

    闪迪至尊超极速CFexpress4.0TypeB存储卡上架京东,128GB至4TB,读取3700MB/s,写入3500MB/s(2TB/4TB版持续写入≥3100MB/s),支持8K/12K视频录制,耐5米跌落及7千克压力,内置Smartidle低功耗,3499元起。

    闪迪推出至尊超极速 CFexpress 4.0 TypeB 存储卡:读速达 3700MB/s、提供 128G-4T 容量,3499 元起
    闪迪推出至尊超极速 CFexpress 4.0 TypeB 存储卡:读速达 3700MB/s、提供 128G-4T 容量,3499 元起

    闪迪推出至尊超极速CFexpress4.0TypeB存储卡,读取3700MB/s,写入3500MB/s,提供128GB至4TB六种容量,售价3499元起。2TB/4TB版持续写入3100MB/s,支持8K/12K视频,具备5米抗跌落、7千克抗压及低功耗技术。

    CNCF 报告:Go 蝉联云原生第一开发语言,占比首次突破 76%
    CNCF 报告:Go 蝉联云原生第一开发语言,占比首次突破 76%

    CNCF报告显示,Go在托管项目中的占比达76.4%,蝉联云原生第一语言,其静态编译、高并发模型和成熟工具链成为核心优势。Rust占比首次突破12%,集中于数据面和安全领域。AI基础设施项目也倾向Go,因其与Kubernetes深度整合。

    VSCode如何配置ColdFusion/CFML语言开发环境
    VSCode如何配置ColdFusion/CFML语言开发环境

    借助VSCode插件和Java调试协议,可为基于JVM的ColdFusion提供语法高亮、补全及断点调试。需安装CFML插件和DebuggerforJava,服务器开启JDWP,配置launch.json的attach模式与源码路径映射。排查端口监听、日志确认及浏览器缓存可解决多数调试失败问题。

    cf罗技一键宏怎么设置?cf罗技鼠标宏设置
    cf罗技一键宏怎么设置?cf罗技鼠标宏设置

      鼠标宏为鼠标键赋予一系列复杂的操作,可以简单地理解为鼠标的快捷键设置,点击设置鼠标宏的按键后,就能完成一些平时无法做到的操作。那么玩cf要如何设置鼠标宏呢?下面就来看看cf罗技鼠标宏设置教程吧。  1、首先是在计算机安装Logitech游戏软件,然后点击如图中箭头所示,打开自定义按钮的设置界面。接着,您需要选择一个键,比如左键,点击小箭头,然后在弹出的菜单中选择“编辑命令”,这样就可以打开左键宏的设置界面。  3、接着就是点击按钮,如图中红箭头所示,点击文本框随便输入一个按键,注意的是比如A,然后点确

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。