当前位置:

首页 > 系统应用 > 基于预测的云资源弹性伸缩框架MagicScaler,实现“高QoS,低成本”双丰收

基于预测的云资源弹性伸缩框架MagicScaler,实现“高QoS,低成本”双丰收

开篇近日,由阿里云计算平台大数据基础工程技术团队主导,与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作,基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler: Uncertainty-aware, Predictive Autoscaling 》被数据库领域

本文目录

    开篇

    近日,由阿里云计算平台大数据基础工程技术团队主导,与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作,基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler: Uncertainty-aware, Predictive Autoscaling 》被数据库领域顶会VLDB 2023接收。

    MagicScaler论文提出了一种创新的基于预测的云资源主动弹性伸缩框架 MagicScaler,该框架主要包含一个基于多尺度注意力高斯过程的预测模型和一个考虑需求不确定性的弹性伸缩优化决策器。论文在阿里云云原生大数据计算服务MaxCompute 3个集群的真实数据集上进行了实验,综合成本和QoS两个层面,MagicScaler要显著优于其他经典的弹性伸缩算法,实现了“高QoS(Quality of Service),低成本”的双丰收。

    背景

    随着云计算需求的不断发展,根据用户需求合理分配云资源,是确保稳定性、控制成本的关键。图1展示了三种易于理解的扩缩容策略。保守(Conservative)策略会提供“保守、虚高”的ECS供应量,虽能保证资源充足,但会导致较高的资源浪费。被动(Passive)策略则是在用户需求达到后才执行扩缩容决策,这样会因资源“冷启动”问题,增加QoS违约的风险。为了兼具这两种策略的优点,预测式自动扩缩容(Predictive Autoscaling)策略应运而生,它可以理解为在“提前知晓用户需求”后执行扩缩容决策,这极有可能成为实现图1中理想状况的途径。

    图 1:三种易于理解的 AutoScaling 策略:a) 保守策略:高成本,低 QoS 风险;b) 被动策略:较低成本,高 QoS 风险;c) 理想策略:低成本,低 QoS 风险。

    目前,自动扩缩框架主要通过控制理论、强化学习、排队理论或基于规则生成扩所容决策。不过,这些方法仅采用了简单的预测算法,比如取历史一段时间的平均需求,却没考虑到需求的周期性和不确定性,这使得预测精度不高,也难以应对多变的需求。部分现有研究只是用启发式方法来处理需求的不确定性,很难得到稳健的扩缩容决策。而理想的扩缩容框架,需要在预测和扩缩容决策阶段都充分考虑需求的不确定性。另外,现有的自动扩缩容框架并未考虑云资源弹性伸缩场景中的一些业务属性和真实约束,例如弹性资源在扩缩容阶段会经历冷启动、退回成本,以及云平台场景下QoS和成本之间的权衡约束等。所以,这些现有的自动扩缩容框架很难直接应用于阿里云计算平台的弹性伸缩场景。

    挑战

    云计算需求的日益发展,基于用户需求合理地进行云资源分配是保障稳定性和控制成本的重要因素。图2展示了阿里云云原生大数据计算服务某个集群在不同数据粒度下的资源请求情况(数据已作脱敏处理),可以看出云上用户需求往往具有高度复杂性、不确定性和粒度敏感的时间依赖性,这给未来需求的准确预测带来了一定困难,也使得主动弹性伸缩更具挑战性。一个好的主动弹性伸缩策略需要在考虑需求不确定性的同时,保持云平台低运行成本和高QoS之间的合理平衡。

    图2 某集群不同数据粒度下的资源请求情况

    破局

    本文提出了一种创新的基于预测的云资源弹性伸缩框架 MagicScaler。该框架主要包含一个基于多尺度注意力高斯过程的预测模型和一个考虑需求不确定性的弹性扩缩容优化决策器,以实现“高QoS(Quality of Service),低成本”双丰收的目标。图3描述了 MagicScaler 的整体框架,包含预测器和调度器两部分。

    图3 MagicScaler整体框架

    (1)预测器:预测器部分主要构建了基于多尺度注意力机制的高斯回归预测模型。该预测模型设计有机融合了两种高效的预测策略:一是多尺度注意力机制,能够捕捉复杂的多尺度特征;二是随机过程回归,以量化预测结果不确定性。这使得预测模型可以实现精确的需求预测,结合量化的不确定性为后续的弹性伸缩打下基础。图4描述了预测器的整体框架,预测器的输入为时刻回看的历史需求序列。通过 MAFE(多尺度特征提取)组件提取这个时间序列特征,记为。将输入至 GPR(高斯过程回归)模型,并以此预测未来步时间的需求量。

    图4 预测器流程

    (2)调度器:调度器部分设计了基于预测结果和量化不确定性的弹性扩缩容优化决策器。将复杂业务场景建模为马尔可夫决策(MDP)过程,并利用滚动时域优化的方法近似求解最优策略,实现了资源成本与 QoS 违规风险之间的灵活平衡。图5展示了调度器流程,包括马尔可夫决策过程(MDP)、优化器和弹性伸缩决策执行器。我们的弹性伸缩器以概率需求预测分布作为输入,将弹性伸缩问题建模为马尔可夫决策过程。因为考虑到MDP优化是一个无限域贝尔曼方程优化问题,我们使用滚动时域优化策略,将贝尔曼方程在无限时域内的求解转换为有限时域内的随机规划,从而使得能够找到最佳策略来近似贝尔曼方程的最优解。

    图5 调度器流程

    论文在阿里云云原生大数据计算服务MaxCompute 3个集群的真实数据集上进行了实验,综合成本和QoS两个层面,MagicScaler要显著优于其他经典的弹性伸缩算法,更多实验结果请参阅我们的论文原文。

    应用

    后续将进一步研究如何将MagicScaler技术与MaxCompute现有调度策略结合。

    • 论文标题:MagicScaler: Uncertainty-aware, Predictive Autoscaling
    • 论文作者:潘志诚,王益杭,张颖莹,杨斌,程云爻,陈鹏,郭晨娟,文青松,田西夺,窦云亮,周志强,杨程程,周傲英,杨彬
    • 论文链接:https://www.vldb.org/pvldb/vol16/p3808-yang.pdf
    点击立即免费试用云产品 开启云上实践之旅!

    原文链接

    本文为阿里云原创内容,未经允许不得转载。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用 低成本
    相关文章 更多
    大气湍流廓线测量有了高精度低成本新方法
    大气湍流廓线测量有了高精度低成本新方法

    先说几个核心结论:地基光学望远镜的观测质量,归根结底取决于大气湍流。而要想造出新一代的大型光学设备,就必须把不同高度上大气湍流的分层情况摸透。过去,相关探测设备定制成本高、部署门槛大,很难在那些偏远的候选台址灵活铺开。现在,一项2019年提出的技术——多星湍流监测仪,理论上能靠小型望远镜实现湍流垂直

    谷歌(GOOGL.US)发布两款AI新模型 低成本出图+视频编辑无缝衔接
    谷歌(GOOGL.US)发布两款AI新模型 低成本出图+视频编辑无缝衔接

    谷歌发布两款AI新模型:NanoBanana2Lite实现低成本快速图像生成(四秒出图,每千张0.034美元),GeminiOmniFlash专注于高质量视频生成与对话式编辑(每秒0.10美元)。两者可无缝衔接,为开发者提供端到端多媒体创作方案。

    如何在ServerlessK8s集群中低成本运行Spark数据计算?
    如何在ServerlessK8s集群中低成本运行Spark数据计算?

    导读:本节课主要介绍如何在 Serverless Kubernetes 集群中低成本运行 Spark 数据计算。首先简单介绍下阿里云 Serverless Kubernetes 和 弹性容器实例 ECI 这两款产品;然后介绍 Spark on Kubernetes;最后进行实际演示。产品介绍阿里云弹

    数字人应用进入普及期,万彩AI让低成本视频表达更易实现
    数字人应用进入普及期,万彩AI让低成本视频表达更易实现

    数字人已进入营销、培训等日常场景。万彩AI通过照片、文字、音频驱动技术,使静态素材生成动态视频,大幅降低制作门槛。在标准化内容传播中,数字人方案成为企业降本增效的新选择。

    荣威i6发动机“飞天”创意营销:低成本撬动高曝光,燃爆社交圈
    荣威i6发动机“飞天”创意营销:低成本撬动高曝光,燃爆社交圈

    荣威i6将发动机绑上无人机进行空中表演,以低成本创意营销撬动高曝光。全网7.5亿次曝光、102万次互动,B站播放量超千万,搜索指数环比增长320%,到店咨询量提升187%,成功扭转对6万级燃油车的刻板印象。

    AI随意“造”出虞书欣?低成本换脸克隆不能肆无忌惮丨热点即阅
    AI随意“造”出虞书欣?低成本换脸克隆不能肆无忌惮丨热点即阅

    近期,AI换脸与声音克隆技术被用于制作虞书欣的虚假短剧并商用,观众难辨真假,引发广泛关注。其工作室声明从未授权,所有合成内容涉嫌侵权,已取证并将通过法律途径维权,坚决打击侵权行为。

    Hermes Agent 发布Autoreason框架,低成本模型实现顶尖写作质量
    Hermes Agent 发布Autoreason框架,低成本模型实现顶尖写作质量

    2026年4月15日,Hermes Agent团队发布了一篇署名论文《Autoreason: Structured Self-Improvement Without Degradation》,正式推出了一个名为Autoreason的自动推理框架。这个框架的核心目标,就是解决当前大语言模型在自我优化过

    共享单车又涨价!专家:应持续优化发展环境,让共享服务低成本惠及公众
    共享单车又涨价!专家:应持续优化发展环境,让共享服务低成本惠及公众

    封面新闻记者 吴冰清 共享单车又涨价了,这事儿最近在网上炸开了锅。 今年6月,北京的网友发现,美团单车弹出了调价通知:6月19日起,工作日起步价从1.5元/30分钟变为1.88元/60分钟。青桔单车紧随其后,起步价调到了1.99元。而在此之前,哈啰单车已经率先把起步价提到了1.99元。 其实,不止北

    AO3防走失官网链接2025手机版入口
    AO3防走失官网链接2025手机版入口

    AO3防走失最新官网链接为https://www.ao3cn.cc//,2025年手机版可通过此链接快速访问,支持多语言浏览与个性化收藏,参与社区互动及创作活动。

    漫蛙漫画在线入口及官网链接
    漫蛙漫画在线入口及官网链接

    漫蛙漫画在线入口为https://www.manwamh.top,汇总2026漫蛙漫画在线入口及官网直达链接,支持手机与电脑网页端秒开浏览,实时同步最新可用主站域名,解决原地址失效问题。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。