当前位置:

首页 > 系统应用 > Fluid0.5版本发布:开启数据集缓存在线弹性扩缩容之路

Fluid0.5版本发布:开启数据集缓存在线弹性扩缩容之路

导读:为了解决大数据、AI 等数据密集型应用在云原生场景下,面临的异构数据源访问复杂、存算分离 I/O 速度慢、场景感知弱调度低效等痛点问题,南京大学PASALab、阿里巴巴、Alluxio 在 2020 年 6 月份联合发起了开源项目 Fluid。Fluid 是云原生环境下数据密集型应用的高效支撑

本文目录

    导读:为了解决大数据、AI 等数据密集型应用在云原生场景下,面临的异构数据源访问复杂、存算分离 I/O 速度慢、场景感知弱调度低效等痛点问题,南京大学PASALab、阿里巴巴、Alluxio 在 2020 年 6 月份联合发起了开源项目 Fluid。

    Fluid 是云原生环境下数据密集型应用的高效支撑平台,项目自开源发布以来吸引了众多相关方向领域专家和工程师的关注,在大家的积极反馈下社区不断演进。近期 Fluid 0.5 版本正式发布,在该版本中,Fluid 主要新增改善以下三个方面内容:

    • 丰富数据集的操作功能,支持在线弹性扩缩容、元数据备份和恢复。

    • 支持多样环境配置部署,满足用户的个性化部署配置需求。

    • 新增数据缓存引擎实现,增加用户在公有云上的引擎选择。

    Fluid 开源项目地址:https://github.com/fluid-cloudnative/fluid

    这三大主要功能的开发需求来自众多社区用户的实际生产反馈,此外 Fluid v0.5 还进行了一些 bug 修复和文档更新,欢迎使用体验 Fluid v0.5!

    Fluidv0.5 下载链接:https://github.com/fluid-cloudnative/fluid/releases

    下文是本次新版本发布功能的进一步介绍。

    丰富数据集的操作功能

    在本版本中 Fluid 重点丰富了核心抽象对象 —— Dataset(数据集)的相关操作功能,从而使数据密集型应用能够更好地利用云原生提供的弹性、可观测性等基础功能,并增强了用户对数据集管理的灵活性。

    1. 数据集在线弹性缓存扩缩容

    这是社区用户一直期待的功能!在 Fluid v0.5 之前,如果用户想要调整数据集的缓存能力,需要以全部卸载缓存引擎再重部署的方式完成。这种方式耗时耗力,还必须考虑数据缓存全部丢失的高昂代价。因此,在新版本中,我们为数据集提供了对缓存弹性扩缩容的支持,用户可以根据自己的场景需求,以不停机方式 on-the-fly 地按需增加某数据集的缓存容量以加速数据访问(扩容)或减少某个不频繁使用的数据集的缓存容量(缩容),从而实现更加精细的弹性资源分配,提高资源利用率。Fluid 内置的控制器会根据策略选择合适的扩缩容节点,例如在缩容时会结合节点上运行任务情况和节点缓存比例作为筛选条件。

    执行弹性数据集的缓存能力弹性扩缩容,用户只需运行如下命令:

    kubectl scale alluxioruntimes.data.fluid.io {datasetName}  --replicas={num}

    其中 datasetName 对应于数据集的名称,replicas 指定缓存节点的数目。

    有关数据集手动扩缩容及其效果的演示视频:http://cloud.video.taobao.com/play/u/2987821887/p/1/e/6/t/1/302459823704.mp4

    更多关于数据集手动扩缩容的操作细节,请参考 Github 上的示例文档。

    2. 元数据的备份与恢复

    这一功能让Fluid数据集元数据管理更具灵活性。在之前的Fluid v0.4版本中,数据集的元数据(如文件系统inode tree)可以加载到本地,同时还会记录数据集的一些关键统计信息(如数据量大小和文件数量)。但有个问题,一旦用户将本地数据集销毁,这些元数据信息也就跟着丢失了,重新构建数据集时就得再次从底层存储系统获取。

    因此,在 Fluid v0.5 中,我们新增了一个 K8s 自定义资源对象 —— DataBackup,为用户提供了声明式的 API 接口,以控制数据备份的相关行为。DataBackup 自定义资源对象构建的一个简单示例如下所示:

    apiVersion: data.fluid.io/v1alpha1
    kind: DataBackup
    metadata:
    name: hbase-backup
    spec:
    dataset: hbase
    backupPath: pvc:///subpath1/subpath2/

    再次创建数据集时,只需新增一个指定备份文件位置的字段:

    apiVersion: data.fluid.io/v1alpha1
    kind: Dataset
    metadata:
    name: hbase
    spec:
    dataRestoreLocation:
    path: pvc://pvc-local/subpath1/
    mounts:
    - mountPoint: https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.2.6/

    此时,Fluid 将首先从备份文件加载元数据和数据集统计信息,从而很大地提高元数据加载速度。更多关于进行数据集元数据备份与恢复的操作细节,请参考 Github 上的示例文档。

    3. 数据集的可观测性优化

    Fluid v0.5 还进一步增强了数据集的可观测性能力,具体包括两个部分:

    1)与 Prometheus 相结合

    该特性能够支持数据集的可用性和性能指标收集,并且通过 Grafana 进行可视化展示。目前已支持 AlluxioRuntime 的实现,使用者可以方便地了解当前可缓存节点、缓存空间、现有缓存比例、远程读、短路读等性能指标。整个配置过程非常简单,达到了对于数据集监控系统“开箱即用"的效果。

    具体的使用方法,请参考 Github 上的示例文档。

    2)新增数据集缓存命中率指标

    该功能可以标识过去 1 分钟内对该数据集的全部访问中有多少访问命中了分布式缓存。该指标一方面能够帮助用户分析他们数据密集型应用中的性能瓶颈,量化查看 Fluid 在整个应用运行的工作流中起到的效果;另一方面能够帮助用户在应用性能提升和缓存资源占用间进行行权衡,做出合理的扩缩容决策。

    这一指标被添加在 Fuild v0.5的 Dataset.Status.CacheStates 的 Dataset CRD 资源状态中,具体来说包括:

    • Cache Hit Ratio:过去一分钟分布式缓存命中的访问百分比。

    • Local Hit Ratio:过去一分钟本地缓存命中的访问百分比。

    • Remote Hit Ratio:过去一分钟远程缓存命中的访问百分比。

    注:对于分布式缓存而言,数据命中有两种不同的缓存命中情况。本地缓存命中指的是访问发起者可直接在同结点访问到缓存数据。远程缓存命中指的是访问发起者需要通过网络访问其他结点上的缓存数据。

    在 Fluid v0.5 中,用户可以使用以下命令方便地查看缓存命中率指标:

    kubectl get dataset  -o wide
    NAME ... CACHE HIT RATIO AGE
    ... 86.2% 16m
    支持多样环境配置部署

    自 Fluid 0.4 版本发布以来,我们根据社区用户实际部署反馈的问题和需求,对 Fluid 在多样环境下的部署配置增加了更多支持。

    1. 支持 Fuse 的 global 模式

    在 Fluid 中,Dataset 资源对象中所定义的远程文件是可被调度的,这意味着你能够像管理 Pod 一样管理远程文件缓存到 Kubernetes 集群上的位置。执行计算的 Pod 可以通过 Fuse 客户端访问数据文件。在先前版本的 Fluid 中,Fuse 客户端总是会调度到缓存所在的节点上,但是用户不能自由控制 Fuse 的调度。

    在 Fluid v0.5 中,我们为 Fuse 新增了 global 部署模式。在该模式下,Fuse 默认会全局部署到所有节点上。用户也可以通过指定 Fuse 的 nodeSelector 来影响 Fuse 的调度结果。同时,缓存会优先调度部署在执行计算 Pod 数量较多的节点上。

    具体使用非常简单,可以参考 Github 上的示例文档。

    2. 支持 HDFS 的用户级配置

    很多社区用户使用分布式缓存系统 Alluxio作为 Fluid 数据集的缓存引擎。在数据集持久化存储于 HDFS 文件系统的情况下,要使得 Alluxio 能够正常访问底层 HDFS,Alluxio 集群需要提前获取该 HDFS 的各类配置信息。

    在Fluid v0.5版本中,我们利用Kubernetes的原生资源来支持上述场景。用户需先将HDFS的相关配置文件(如hdfs-site.xml和core-site.xml)以ConfigMap的方式创建到Kubernetes环境中,然后在创建的AlluxioRuntime资源对象中引用上述创建的ConfigMap,以此来实现上述功能。

    AlluxioRuntime 资源对象的一个示例如下所示:

    apiVersion: data.fluid.io/v1alpha1
    kind: AlluxioRuntime
    metadata:
    name: my-hdfs
    spec:
    ...
    hadoopConfig:
    ...

    至此,创建出的 Alluxio 集群将能够正常地访问 HDFS 集群中的数据。更多内容可参考 Github 上的示例文档。

    新增数据缓存引擎实现

    Fluid 默认使用的分布式缓存 Runtime 是 AlluxioRuntime,为了支持不同环境用户对缓存系统的需求,在之前的版本中 Fluid 已经将分布式缓存 Runtime 接入框架做成了可插拔的架构。在 Fluid v0.5 中,来自阿里云的社区贡献者基于该框架开发了 JindoRuntime,新增了一种支撑 Fluid Dataset 数据管理和缓存的执行引擎实现。用户可以在 Fluid 中通过 JindoRuntime 使用 JindoFS 的 Cache 模式进行远端文件的访问和缓存。在 Fluid 上使用和部署 JindoRuntime 流程简单、兼容原生 K8s 环境、开箱即用。

    总结

    在 Fluid v0.5 中,我们对 Fluid 的功能特性与用户体验都进行了丰富和增强。

    首先,Fluid v0.5 进一步增加了数据集的功能操作:

    • 提供数据集在线弹性扩缩容能力,实现更灵活、更精细的集群资源分配控制。

    • 新增 DataBackup CRD,实现了数据集文件元数据等信息的备份与恢复,帮助完成数据集缓存系统的快速重启。

    • 新增缓存命中率指标,帮助用户更好量化分析 Fluid 提供的加速效果。

    其次,Fluid 支持更多环境模式和配置,满足更多真实场景的部署需求。

    最后,Fluid 新增了基于 JindoFS 的分布式缓存 Runtime —— JindoRuntime,为用户在多样化部署环境中提供不同的缓存引擎选择。

    我们会继续广泛关注和采纳社区建议,推动 Fluid 项目的长期发展,期待听到大家更多的反馈。如果您有任何疑问或建议,欢迎加入 Fluid 用户群参与交流或在 Github 上与我们讨论:

    鸣谢

    感谢为此版本做出贡献的社区小伙伴们,他们包括来自阿里云的王涛、腾讯云的谢远东、中国电信的仇伶玮、南京大学 PASALab 的徐之浩、候浩军、陈国旺、陈雨铨等同学。

    作者简介

    顾荣 博士,南京大学计算机系副研究员,Fluid 开源项目 co-founder、Alluxio 开源项目 PMC 成员,研究方向大数据处理系统,已在 TPDS、ICDE、JPDC、IPDPS、ICPP 等领域前沿期刊会议发表论文30余篇,主持国家自然科学基金面上项目/青年项目、中国博士后科学基金特别资助项目多项,研究成果落地应用于阿里巴巴、百度、字节跳动、中国石化、华泰证券等公司和开源项目 Apache Spark、Alluxio,获 2018 年度江苏省科学技术一等奖、2019 年度江苏省计算机学会青年科技奖,担任中国计算机学会系统软件专委会委员/大数据专委会通讯委员、江苏省计算机学会大数据专委会秘书长。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用 大数据
    相关文章 更多
    大数据分析师Linux环境教程:安装Hadoop并验证版本与进程状态
    大数据分析师Linux环境教程:安装Hadoop并验证版本与进程状态

    本教程指导大数据分析师在Linux环境中安装Hadoop,通过配置环境变量、验证版本及启动服务,确保Java和Hadoop命令可用。最终利用jps命令检查NameNode等核心进程状态,为后续学习HDFS和Spark打下基础。

    数据解码天性,麦富迪联合达索系统举办技术公开日
    数据解码天性,麦富迪联合达索系统举办技术公开日

    麦富迪与达索系统联合举办技术公开日,展示数智化研发系统。通过WarmData大数据中心采集犬猫天性数据,结合达索系统仿真能力,实现配方模拟优化,缩短研发周期,推动宠物食品行业从经验驱动转向数据驱动。

    centos虚拟机内存分配技巧是什么
    centos虚拟机内存分配技巧是什么

    总体原则匹配负载:以工作负载为锚点分配内存。轻量服务(如 Nginx、小型数据库)起步可给1–2 GB;桌面环境或中等负载建议2–4 GB;重负载(多服务/大数据/容器编排)在此基础上按峰值再加余量。始终以“应用需求 + 系统基线”为准,而非拍脑袋给大值。留有余量:宿主机需为自身与后台进程预留充足内

    DebianPostgreSQL数据库迁移方案有哪些
    DebianPostgreSQL数据库迁移方案有哪些

    Debian 下 PostgreSQL 数据库迁移方案一、方案总览与选型方案适用场景停机窗口版本/平台要求关键工具主要优点主要限制逻辑导出导入(pg_dump/pg_restore、pg_dumpall)跨版本、跨平台、只迁部分库/表、云上/云下迁移一般为分钟级(取决于数据量)基本无限制,适合升级或

    计算存储分离在消息队列上的应用
    计算存储分离在消息队列上的应用

    云妹导读:随着互联网的不断发展,大数据高并发不再遥远,是大部分项目都必须具备的能力。其中,消息队列几乎是必备技能。成熟的消息队列工具有很多,本篇文章就来介绍一款京东智联云自研消息队列工具——JCQ。JCQ全名JD Cloud Message Queue,是京东智联云自研,具有CloudNative特

    干货丨时序数据库流数据教程
    干货丨时序数据库流数据教程

    实时流处理一般是将业务系统产生的数据进行实时收集,交由流处理框架进行数据清洗,统计,入库,并可以通过可视化的方式对统计结果进行实时的展示。传统的面向静态数据表的计算引擎无法胜任流数据领域的分析和计算任务。在金融交易、物联网、互联网/移动互联网等应用场景中,复杂的业务需求对大数据处理的实时性提出了更高

    拥抱云原生,Fluid结合JindoFS:阿里云OSS加速利器
    拥抱云原生,Fluid结合JindoFS:阿里云OSS加速利器

    什么是FluidFluid是一个开源的 Kubernetes 原生的分布式数据集编排和加速引擎,主要服务于云原生场景下的数据密集型应用,例如大数据应用、AI 应用等。通过 Kubernetes 服务提供的数据层抽象,可以让数据像流体一样在诸如 HDFS、OSS、Ceph 等存储源和 Kubernet

    Hologres+Flink流批一体首次落地4982亿背后的营销分析大屏
    Hologres+Flink流批一体首次落地4982亿背后的营销分析大屏

    简介: 本篇将重点介绍Hologres在阿里巴巴淘宝营销活动分析场景的最佳实践,揭秘Flink+Hologres流批一体首次落地阿里双11营销分析大屏背后的技术考验。 概要:刚刚结束的2020天猫双11中,MaxCompute交互式分析(下称Hologres)+实时计算Flink搭建的云原生实时数仓

    直播实录|37手游如何用StarRocks实现用户画像分析
    直播实录|37手游如何用StarRocks实现用户画像分析

    作者:向伟靖,37 手游大数据开发工程师37 手游使用 StarRocks 已有半年多,在此期间非常感谢 StarRocks 团队的积极协助,感受到了服务速度和产品速度一样快,辅导我们解决了产品使用上的一些问题。首先介绍下 37 手游的背景。37 手游主要专注于移动端游戏发行和游戏运营,成功发行运营

    如何理解 Hadoop FS Shell 中的权限模式
    如何理解 Hadoop FS Shell 中的权限模式

    简介 Hadoop 是用于分布式数据处理的流行开源框架,它提供了一个强大的分布式文件系统(HDFS)来存储和管理大规模数据。了解 Hadoop FS Shell 中的文件权限对于有效控制数据访问和确保 Hadoop 环境的安全至关重要。 了解 Hadoop 中的文件权限 Hadoop 分布式文件系统

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。