当前位置:

首页 > 系统应用 > 【深入MaxCompute】人力家:用MaxCompute事务表2.0主键模型去重数据持续降本增效

【深入MaxCompute】人力家:用MaxCompute事务表2.0主键模型去重数据持续降本增效

简介: MaxCompute新增Transaction Table2.0(下文简称事务表2.0)表类型在2023年6月27日开始邀测,支持基于事务表2.0实现近实时的增全量一体的数据存储、计算解决方案。业务简介人力家是由阿里钉钉和人力窝共同投资成立,帮助客户进入人力资源数字化,依靠产品技术创新驱动战

本文目录

    简介: MaxCompute新增Transaction Table2.0(下文简称事务表2.0)表类型在2023年6月27日开始邀测,支持基于事务表2.0实现近实时的增全量一体的数据存储、计算解决方案。

    业务简介

    人力家是由阿里钉钉和人力窝共同投资成立,帮助客户进入人力资源数字化,依靠产品技术创新驱动战略的互联网公司。公司主要提供包括人事管理、薪酬管理、社保管理、增值服务在内的人力资源SaaS服务,加速对人力资源领域赋能,实现人力资源新工作方式。目前已服务电子商务、零售服务等领域的多行业客户。

    人力家是一家典型的创业公司,目前处于一个竞争激烈的市场环境中,公司具有多产品性质,每个产品的数据具有独立性,同时为了配合内部CRM数据需求,更好地把数据整合,对于数仓团队来说是一个不小的挑战,对于数仓团队要求的是稳,准,及时响应。需要数仓团队既要满足内部的数据需求,也需要在计算的成本上实现优化。

    业务痛点

    在使用阿里云大数据计算服务MaxCompute过程中发现随着存量数据增加,增量数据去重成本越来越大,具体分析发现有如下4个原因

    增量数据量级少

    公司虽然是多产品,但每天新增的用户数据和历史变化的数据量相对于历史全量数据的量级(GB)比较下处于较小的数据量级(MB)。

    历史数据二次计算

    对于增量数据去重,每天利用昨日历史全量+今日新增数据开窗去重计算,但历史全量数据需要更新的数据部分其实很少,每次都需要把历史数据拉出来进行开窗去重计算,这无疑一笔比较大的计算成本。

    开窗去重计算成本大

    使用row_number函数开窗去重取得业务主键的最新数据需要把昨日历史数据+今日数据合并计算,用户表有亿级别大小,但为了数据去重节省存储成本和后续的建模运算,这部分成本是偏大的,其实大部分历史数据没有更新,本质上是不需要再次参与运算处理,每天一次的用户表去重单条SQL预估费用达到4.63元(按量付费)。

    全量拉取成本大

    如果每天全量拉取业务库数据,数据量是亿级别,但其实更新的数据量级少,对于业务端的db压力大,严重影响业务端db性能。

    Transaction Table2.0数据去重改进

    MaxCompute新增Transaction Table2.0(下文简称事务表2.0)表类型在2023年6月27日开始邀测,MaxCompute支持基于事务表2.0实现近实时的增全量一体的数据存储、计算解决方案。人力家数仓研发团队开始第一时间了解其特性和功能,人力家数仓团队发现其特性主键模型可以用来进行数据去重,减少开窗计算成本问题,主要实现方式如下。

    • 每日增量用户基础信息开窗去重;
    • 由于主键表的主键不能为空,需要过滤出业务主键为空的数据;
    • 把每日增量数据开窗去重后的数据直接insert into 主键表,系统会自动进行按照业务主键进行去重计算。

    具体改进实践措施

    整体对比

    去重SQL执行时间(单位s)去重SQL预估成本(单位元)普通表1514.63Transaction Table2.0720.06

    成本和计算时间对比

    1、建表语句和插入更新语句

    更新语句

    2、成本和计算

    分区表去重运行预估成本:

    预估费用,不能作为实际计费标准,仅供参考,实际费用请以账单为准。

    主键表去重运行预估成本:

    预估费用,不能作为实际计费标准,仅供参考,实际费用请以账单为准。

    分区表计算时间和资源

    事务表2.0主键表计算时间和资源

    通过上述对比,用户表每天的计算SQL成本从4.63元下降到0.06元,计算时间缩短一半,reduce_num明显增加,map端减少,reduce端的数据量明显变多。

    合并小文件

    事务表2.0支持近实时增量写入和timetra vel查询特性,在数据频繁写入的场景中,必然会引入大量的小文件,需要设计合理高效的合并策略来对小文件进行合并以及数据去重,解决大量小文件读写IO低效以及缓解存储系统的压力,但也要避免频繁Compact引发严重的写放大和冲突失败。

    目前主要支持两种数据合并方式:

    • Clustering:只是把Commit的DeltaFile合并成一个大文件,不改变数据内容。系统内部会根据新增的文件大小、文件数量等因素周期性地执行,不需要用户手动操作。主要解决小文件IO读写效率和稳定性问题。

    • Compaction:会把所有的数据文件按照一定策略进行Merge操作,生成一批新的BaseFile,相同PK的数据行只存储最新的状态,不包含任何历史状态,也不会包含任何系统列信息,因此BaseFile本身不支持timetra vel操作,主要用于提升查询效率。支持用户根据业务场景主动触发,也支持通过设置表属性由系统周期性自动触发。

    综上所述,主键表在面对增量数据时,不会立即进行小文件合并,这样一来,就会产生大量小文件。小文件不仅会占用大量存储空间,还不利于数据查询速度的提升。针对这种情况,我们可以在insert into之后手动合并主键表的小文件,也可以通过配置表属性,按照时间频率、Commit次数等维度自动触发Compaction机制,或者等待系统进行Clustering合并。如果是每日仅新增一次的数据更新,在这里更建议使用系统的Clustering机制。

    注意点:

    desc extend table_name显示出来的file_num 和 size是包含回收站数据的,目前没办法准确显示,可以清空回收站数据或者Compaction 观察日志结尾的filenum数量。

    数据时空旅行查询和历史数据修复

    对于事务表2.0类型的表,MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询(TimeTra vel查询),也支持指定源表某个历史时间区间或者版本区间进行历史增量查询(Incremental查询), 需要设置acid.data.retain.hours才可以使用TimeTra vel查询和Incremental查询。

    数据时空旅行查询

    1、基于TimeTra vel 查询截止到指定时间(例如datetime格式的字符串常量)的所有历史数据(需要设置)

    select * from mf_tt2 timestamp as of '2023-06-26 09:33:00' where dd='01' and hh='01';

    查询历史数据和版本号

    show history for table mf_tt2 partition(dd='01',hh='01');

    查询截止到指定version常量的所有历史数据

    select * from mf_tt2 version as of 2 where dd='01' and hh='01';

    2、基于Incremental 查询指定时间(例如datetime格式的字符串常量)区间的历史增量数据,常量值需要根据具体操作的时间来配置

    select * from mf_tt2 timestamp between '2023-06-26 09:31:40' and '2023-06-26 09:32:00' where dd= '01' and hh='01';

    查询指定version区间的历史增量数据

    select * from mf_tt2 version between 2 and 3 where dd ='01' and hh = '01';

    数据修复

    基于TimeTra vel 查询截止到指定时间的全量数据直接insert into 一张临时表,清空当前事务表2.0主键表数据,把临时表数据insert into当前事务表2.0主键表。

    注意事项及未来规划

    动态硬删数据

    目前,针对历史数据,硬删除的操作还无法实现(这方面依赖于flink-cdc),不过可以通过软删来达成目的,或者积累一段时间的历史数据后,把所有历史数据拿出来过滤,再重新整体插入主键表。这里要特别说明一下,flink-cdc+flink-sql是支持delete实时硬删数据的。但要注意,单表的flink-cdc任务负担较重,多个表的话就需要不同的server-id,这会给业务系统源头断的db带来较大压力,所以不太建议采用这种方式,还是期待后续的cdas整库同步吧。

    存储空间增加

    事务表2.0主键模型数据存储空间相比于分区表开窗后的数据占有的存储空间大一点,主要是开窗后的数据分布更均匀,数据压缩比更大,但是相对于sql每次的每天一次的计算成本,存储空间所占有的每日费用处于较低的费用级(可忽略)。

    flink-cdc

    配合flink-cdc直接可以直接实现准实时数据同步,提高数据新鲜度。

    整库同步

    期待阿里云实时计算Flink的cdas语法目标端整合MaxCompute端做到整库同步和ddl变更。

    物化视图

    利用物化视图+flink-cdc组合方式可以做到

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    消息称内存涨价潮促使路由器制造商更新换代降本增效,加速推进 Wi-Fi 8 普及过程
    消息称内存涨价潮促使路由器制造商更新换代降本增效,加速推进 Wi-Fi 8 普及过程

    内存涨价促使路由器制造商采用新硬件方案降低成本,加速推出Wi-Fi8产品。市场研究机构预测Wi-Fi市场增长势头至少延续三年,行业逐步完成向Wi-Fi8过渡,整体收入规模仍将保持增长。

    工业车辆动力优化:降本增效环保三重奏,如何选对服务提供商?
    工业车辆动力优化:降本增效环保三重奏,如何选对服务提供商?

    工业车辆动力优化通过新能源系统实现电费降至燃油车三分之一,免去传统保养,运维成本大幅缩减。零排放、降噪30%以上,改善作业环境。智能电控提升启动响应与续航,服务商需具备12项核心资质及严苛测试。

    从连接可靠性看光伏系统降本增效:凌科一站式连接方案加速多场景适配
    从连接可靠性看光伏系统降本增效:凌科一站式连接方案加速多场景适配

    光伏逆变器的连接方案,这些年越来越讲究“系统化”了。先看逆变器这个典型环节——凌科电气提供的方案覆盖了通信、信号、电力三大类型,算是把逆变器连接这件小事掰开揉碎了。LP16系列的RJ45连接器,专门处理逆变器与数据采集器之间的以太网通信,高速数据传输稳稳的;YM20系列14芯连接器则负责多路传感器信

    日野M112 12速AMT变速箱亮相车展 适配多场景助力运输降本增效
    日野M112 12速AMT变速箱亮相车展 适配多场景助力运输降本增效

    日野发布全新M112十二速自动变速箱,适配中重型卡车。其优化齿比与智能换挡策略,可提升城市运输燃油经济性,降低换挡冲击。针对长途运输,绵密齿比有助于维持发动机高效运转,实测油耗降低5%至8%。该变速箱采用电控液压与双中间轴设计,换挡迅捷,计划2027年在亚洲量产。

    PayPal(PYPL.US)加速AI部署推动降本增效 计划节省15亿美元用于再投资增长
    PayPal(PYPL.US)加速AI部署推动降本增效 计划节省15亿美元用于再投资增长

    PayPal加速AI部署推动降本增效,计划节省15亿美元用于再投资增长 智通财经APP获悉,支付科技巨头PayPal近期有了新动作。公司周二明确表示,正在通过加速人工智能的应用,同时精简组织架构,来优化整体成本结构。这一组合拳的目的很明确:提升运营效率,并为未来的增长释放潜力。目前,公司尚未披露此次

    2026年5月5日:东方空间降本增效 小米公益加码 英伟达谈AI影响 懂游宝用户激增
    2026年5月5日:东方空间降本增效 小米公益加码 英伟达谈AI影响 懂游宝用户激增

    商业航天:成本下探背后的工程化博弈 商业航天的竞争焦点,正从“能不能上天”转向“多便宜上天”。最近有消息透露,东方空间联合创始人布向伟在采访中分享了最新进展:他们的引力一号火箭,已经能做到把4.2吨的载荷送到500公里太阳同步轨道,而每公斤的发射成本,从行业早期动辄10万元的水平,压缩到了5万元以内

    AI赋能降本增效,板块行情复苏迹象明显
    AI赋能降本增效,板块行情复苏迹象明显

    在当今经济环境下,企业面临着诸多挑战,如何实现降本增效,把握市场机遇,成为企业发展的关键。在这个过程中,人工智能(AI)技术的广泛应用为各行各业带来了新的发展机遇。AI赋能降本增效AI技术在企业降本增效方面具有显著作用。首先,AI技术能够帮助企业提高生产效率。通过自动化生产线和智能制造设备,企业可以实现生产流程的智能化和自动化,大大提高生产效率。其次,AI技术可以优化企业资源配置。通过对大数据进行分析和挖掘,企业可以了解到市场需求和消费者偏好,从而合理配置资源,提高产品竞争力。最后,AI技术还可以降低运营

    AO3防走失官网链接2025手机版入口
    AO3防走失官网链接2025手机版入口

    AO3防走失最新官网链接为https://www.ao3cn.cc//,2025年手机版可通过此链接快速访问,支持多语言浏览与个性化收藏,参与社区互动及创作活动。

    漫蛙漫画在线入口及官网链接
    漫蛙漫画在线入口及官网链接

    漫蛙漫画在线入口为https://www.manwamh.top,汇总2026漫蛙漫画在线入口及官网直达链接,支持手机与电脑网页端秒开浏览,实时同步最新可用主站域名,解决原地址失效问题。

    漫蛙manwa永久网址及最新入口分享
    漫蛙manwa永久网址及最新入口分享

    漫蛙manwa2永久有效网址是https://www.manwamh.top及备用站https://fuwt.cc/mw666,平台资源覆盖热血、恋爱、悬疑、科幻等多题材,含经典与新锐作品,分类清晰;更新及时同步原作,支持进度追踪与订阅提醒;提供竖屏滑动或翻页阅读,有夜间模式和自定义字体背景功能,阅读体验流畅。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。