当前位置:

首页 > 系统应用 > 如何在ServerlessK8s集群中低成本运行Spark数据计算?

如何在ServerlessK8s集群中低成本运行Spark数据计算?

导读:本节课主要介绍如何在 Serverless Kubernetes 集群中低成本运行 Spark 数据计算。首先简单介绍下阿里云 Serverless Kubernetes 和 弹性容器实例 ECI 这两款产品;然后介绍 Spark on Kubernetes;最后进行实际演示。产品介绍阿里云弹

本文目录

    导读:本节课主要介绍如何在 Serverless Kubernetes 集群中低成本运行 Spark 数据计算。首先简单介绍下阿里云 Serverless Kubernetes 和 弹性容器实例 ECI 这两款产品;然后介绍 Spark on Kubernetes;最后进行实际演示。

    产品介绍

    阿里云弹性容器实例 ECI

    ECI 提供安全的 Serverless 容器运行服务。无需管理底层服务器,只需要提供打包好的 Docker 镜像,即可运行容器,并仅为容器实际运行消耗的资源付费。

    阿里云容器服务产品族

    不论是托管版的 Kubernetes(ACK)还是 Serverless 版 Kubernetes(ASK),都可以使用 ECI 作为容器资源层,其背后的实现就是借助虚拟节点技术,通过一个叫做 Virtual Node 的虚拟节点对接 ECI。

    Kubernetes + ECI

    有了 Virtual Kubelet,标准的 Kubernetes 集群就可以将 ECS 和虚拟节点混部,将 Virtual Node 作为应对突发流量的弹性资源池。

    ASK(Serverless Kubernetes)+ ECI

    Serverless 集群中没有任何 ECS worker 节点,也无需预留、规划资源,只有一个 Virtual Node,所有的 Pod 的创建都是在 Virtual Node 上,即基于 ECI 实例。

    Serverless Kubernetes 是以容器和 Kubernetes 为基础的 Serverless 服务,它提供了一种简单易用、极致弹性、最优成本和按需付费的 Kubernetes 容器服务,其中无需节点管理和运维,无需容量规划,让用户更关注应用而非基础设施的管理。

    Spark on Kubernetes

    Spark 自 2.3.0 开始试验性支持 Standalone、on YARN 以及 on Mesos 之外的新的部署方式:Running Spark on Kubernetes,如今支持已经非常成熟。

    Kubernetes 的优势

    Spark on kubernetes 相比于 on Yarn 等传统部署方式的优势:

    1. 统一资源管理:各种类型的作业均可在同一Kubernetes集群中运行,无需再为大数据作业单独维护独立的YARN集群。2. 存储限制突破:传统的计算与存储混合部署,往往会因存储扩容而导致不必要的计算扩容,反之亦然。Kubernetes将离线计算的计算和存储分离,能更灵活地应对单方面的不足。3. 弹性集群基础设施。4. 资源隔离与限制:轻松实现复杂分布式应用的资源隔离和限制,摆脱YRAN复杂的队列管理和分配。5. 容器化优势:每个应用都可通过Docker镜像打包自身依赖,运行在独立环境中,甚至包括Spark版本,应用间完全隔离。6. 大数据上云:目前大数据应用上云主要有两种方式:1)使用ECS自建YARN(不限于YARN)集群;2)购买EMR服务,目前所有云厂商均提供此类PaaS,如今又多了Kubernetes这一选择。

    Spark 调度

    图中橙色部分是原生的 Spark 应用调度流程,而 Spark on Kubernetes 对此做了一定的扩展(黄色部分),实现了一个 KubernetesClusterManager。其中 **KubernetesClusterSchedulerBackend 扩展了原生的CoarseGrainedSchedulerBackend,**新增了 **ExecutorPodsLifecycleManager、ExecutorPodsAllocator 和KubernetesClient **等组件,实现了将标准的 Spark Driver 进程转换成 Kubernetes 的 Pod 进行管理。

    Spark submit

    在 Spark Operator 出现之前,在 Kubernetes 集群提交 Spark 作业只能通过 Spark submit 的方式。创建好 Kubernetes 集群,在本地即可提交作业。

    作业启动的基本流程:

    1、Spark会率先在K8s集群里创建Spark Driver(pod)。2、Driver启动之后,会调用K8s API来创建Executors(pods),而Executors才是执行作业的实际载体。3、当作业计算完毕,Executor Pods会自动被回收,Driver Pod则处于Completed状态(即终态),此时用户可以查看日志等相关信息。4、Driver Pod只能由用户手动清理,或者被K8s GC回收。

    直接通过这种 Spark submit 的方式,参数非常不好维护,而且不够直观,尤其是当自定义参数增加的时候;此外,没有 Spark Application 的概念了,都是零散的 Kubernetes Pod 和 Service 这些基本的单元,当应用增多时,维护成本提高,缺少统一管理的机制。

    Spark Operator

    Spark Operator就是为了解决在 Kubernetes 集群部署并维护 Spark 应用而开发的,Spark Operator 是经典的 CRD + Controller,即 Kubernetes Operator 的实现。

    下图为 SparkApplication 状态机:

    Serverless Kubernetes + ECI

    那么,如果在 Serverless Kubernetes 集群中运行 Spark,其实际上是对原生 Spark 的进一步精简。

    存储选择

    对于批量处理的数据源,由于集群不是基于 HDFS 的,所以数据源会有不同,需要计算与存储分离,Kubernetes 集群只负责提供计算资源。

    • 数据源的存储可以采用阿里云对象存储 OSS、阿里云分布式存储 HDFS 等。
    • 计算的临时数据、Shuffle 数据可以采用 ECI 提供的免费的 40GB 的系统盘存储空间,还可以自定义挂载阿里云数据盘、以及 CPFS/NAS 文件系统等,都拥有非常不错的性能。

    实操演示

    本次实操分别展示 TPC-DS 和 WordCount 两个应用,点击即可观看具体操作演示过程

    Serverless 公众号,发布 Serverless 技术最新资讯,汇集 Serverless 技术最全内容,关注 Serverless 趋势,更关注你落地实践中的遇到的困惑和问题。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用 低成本
    相关文章 更多
    大气湍流廓线测量有了高精度低成本新方法
    大气湍流廓线测量有了高精度低成本新方法

    先说几个核心结论:地基光学望远镜的观测质量,归根结底取决于大气湍流。而要想造出新一代的大型光学设备,就必须把不同高度上大气湍流的分层情况摸透。过去,相关探测设备定制成本高、部署门槛大,很难在那些偏远的候选台址灵活铺开。现在,一项2019年提出的技术——多星湍流监测仪,理论上能靠小型望远镜实现湍流垂直

    谷歌(GOOGL.US)发布两款AI新模型 低成本出图+视频编辑无缝衔接
    谷歌(GOOGL.US)发布两款AI新模型 低成本出图+视频编辑无缝衔接

    谷歌发布两款AI新模型:NanoBanana2Lite实现低成本快速图像生成(四秒出图,每千张0.034美元),GeminiOmniFlash专注于高质量视频生成与对话式编辑(每秒0.10美元)。两者可无缝衔接,为开发者提供端到端多媒体创作方案。

    基于预测的云资源弹性伸缩框架MagicScaler,实现“高QoS,低成本”双丰收
    基于预测的云资源弹性伸缩框架MagicScaler,实现“高QoS,低成本”双丰收

    开篇近日,由阿里云计算平台大数据基础工程技术团队主导,与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作,基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler: Uncertainty-aware, Predictive Autoscaling 》被数据库领域

    数字人应用进入普及期,万彩AI让低成本视频表达更易实现
    数字人应用进入普及期,万彩AI让低成本视频表达更易实现

    数字人已进入营销、培训等日常场景。万彩AI通过照片、文字、音频驱动技术,使静态素材生成动态视频,大幅降低制作门槛。在标准化内容传播中,数字人方案成为企业降本增效的新选择。

    荣威i6发动机“飞天”创意营销:低成本撬动高曝光,燃爆社交圈
    荣威i6发动机“飞天”创意营销:低成本撬动高曝光,燃爆社交圈

    荣威i6将发动机绑上无人机进行空中表演,以低成本创意营销撬动高曝光。全网7.5亿次曝光、102万次互动,B站播放量超千万,搜索指数环比增长320%,到店咨询量提升187%,成功扭转对6万级燃油车的刻板印象。

    AI随意“造”出虞书欣?低成本换脸克隆不能肆无忌惮丨热点即阅
    AI随意“造”出虞书欣?低成本换脸克隆不能肆无忌惮丨热点即阅

    近期,AI换脸与声音克隆技术被用于制作虞书欣的虚假短剧并商用,观众难辨真假,引发广泛关注。其工作室声明从未授权,所有合成内容涉嫌侵权,已取证并将通过法律途径维权,坚决打击侵权行为。

    Hermes Agent 发布Autoreason框架,低成本模型实现顶尖写作质量
    Hermes Agent 发布Autoreason框架,低成本模型实现顶尖写作质量

    2026年4月15日,Hermes Agent团队发布了一篇署名论文《Autoreason: Structured Self-Improvement Without Degradation》,正式推出了一个名为Autoreason的自动推理框架。这个框架的核心目标,就是解决当前大语言模型在自我优化过

    共享单车又涨价!专家:应持续优化发展环境,让共享服务低成本惠及公众
    共享单车又涨价!专家:应持续优化发展环境,让共享服务低成本惠及公众

    封面新闻记者 吴冰清 共享单车又涨价了,这事儿最近在网上炸开了锅。 今年6月,北京的网友发现,美团单车弹出了调价通知:6月19日起,工作日起步价从1.5元/30分钟变为1.88元/60分钟。青桔单车紧随其后,起步价调到了1.99元。而在此之前,哈啰单车已经率先把起步价提到了1.99元。 其实,不止北

    AO3官网镜像链接一键跳转-手机入口快速访问
    AO3官网镜像链接一键跳转-手机入口快速访问

    AO3官网可通过https://www.ao3cn.cc//直接访问,支持手机和桌面端,页面适配移动端,操作流畅,支持书签、收藏、订阅及作品导出等功能,内容涵盖全球同人创作,分类细致,互动性强。

    AO3中文版官网与使用指南
    AO3中文版官网与使用指南

    AO3中文版官网入口为https://www.ao3cn.cc//,进入后点击右上角“Preferences”选择“中文(简体)”并更新即可切换语言,支持免登录浏览海量原创作品,利用标签系统精准筛选内容,平台无广告干扰且开源透明;注册账号后可发布、收藏、点赞和评论作品,并通过高级搜索功能按字数、时间等条件查找资源,实现高效互动与创作共享。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。