当前位置:

首页 > 系统应用 > 字节跳动基于ClickHouse优化实践之Upsert

字节跳动基于ClickHouse优化实践之Upsert

更多技术交流、求职机会、试用福利,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群相信大家都对大名鼎鼎的ClickHouse有一定的了解,它强大的数据分析性能让人印象深刻。但在字节大量生产使用中,发现了ClickHouse依然存在了一定的限制。例如:缺少完整的upsert和delete操

本文目录

    更多技术交流、求职机会、试用福利,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

    相信大家都对大名鼎鼎的ClickHouse有一定的了解,它强大的数据分析性能让人印象深刻。但在字节大量生产使用中,发现了ClickHouse依然存在了一定的限制。例如:

    • 缺少完整的upsert和delete操作

    • 多表关联查询能力弱

    • 集群规模较大时可用性下降(对字节尤其如此)

    • 没有资源隔离能力

    因此,我们决定将ClickHouse能力进行全方位加强,打造一款更强大的数据分析平台。

    本篇将详细介绍我们是如何为ClickHouse补全更新删除能力的。

    实时人群圈选场景遇到的难题

    在电商业务中,人群圈选是非常常见的一个场景。字节原有的离线圈选的方案是以T+1的方式更新数据,而不是实时更新,这很影响业务侧的体验。现在希望能够基于实时标签,在数据管理平台中构建实时人群圈选的能力。整体数据链路如下:

    为了保证实时数据和离线数据同时提供服务,在标签接入完毕后,在ClickHouse中完成宽表加工任务。但是原生ClickHouse只支持追加写的能力,只有ReplacingMergeTree这种方案。但是选用ReplacingMergeTree引擎的限制比较多,不能满足业务的需求,主要体现在:

    • 性能下降严重,ReplacingMergeTree采用的是写优先的设计逻辑,这导致读性能损失严重。表现是在进行查询时性能较ClickHouse其他引擎的性能下降严重,涉及ReplacingMergeTree的查询响应时间过慢。

    • ReplacingMergeTree引擎只支持数据的更新,并不支持数据的删除。只能通过额外的定制处理来实现数据清除,但这样会进一步拖慢了查询的性能。

    • ReplacingMergeTree中的去重是 Merge 触发的,在刚导入的数据时是不去重的,过一段时间后才会在分区内去重。

    解决方案:UniqueMergeTree

    在这种情况下,字节在ByteHouse(字节基于ClickHouse能力增强的版本)中开发了一种支持实时更新删除的表引擎:UniqueMergeTree。UniqueMergeTree与以往的表引擎有什么差别呢?下面介绍两种支持实时更新的常见技术方案:

    原生ClickHouse选择的技术方案

    原生ClickHouse的更新表引擎ReplacingMergeTree使用Merge on Read的实现逻辑,整个思想比较类似LSMTree。对于写入,数据先根据key排序,然后生成对应的列存文件。每个Batch写入的文件对应一个版本号,版本号能用来表示数据的写入顺序。

    同一批次的数据不包含重复key,但不同批次的数据包含重复key,这就需要在读的时候去做合并,对key相同的数据返回去最新版本的值,所以叫merge on read方案。原生ClickHouse ReplacingMergeTree用的就是这种方案。

    瞧,它的写路径极为简单,堪称典型的写优化方案。然而,其读性能却不尽人意,原因有以下几点。其一,基于键的合并通常是单线程的,难以实现并行处理。其二,合并过程需要大量的内存比较和内存拷贝操作。最后,这种方案对谓词下推也存在一定限制。用过ReplacingMergeTree的朋友,想必对读性能问题感触颇深。

    这个方案也有一些变种,比如说可以维护一些index来加速merge过程,不用每次merge都去做key的比较。

    面向读优化的新方案

    UniqueMergeTree使用的技术方案Mark-Delete + Insert方案刚好反过来,是一个读优化方案。在这个方案中,更新是通过先删除再插入的方式实现的。

    Ref “Enhancements to SQLServer Column Stores”

    下面以SQLServer的Column Stores为例介绍下这个方案。图中,每个RowGroup对应一个不可变的列存文件,并用Bitmap来记录每个RowGroup中被标记删除的行号,即DeleteBitmap。处理更新的时候,先查找key所属的RowGroup以及它在RowGroup中行号,更新RowGroup的DeleteBitmap,最后将更新后的数据写入Delta Store。查询的时候,不同RowGroup的扫描可以完全并行,只需要基于行号过滤掉属于DeleteBitmap的数据即可。

    这个方案平衡了写和读的性能。一方面写入时需要去定位key的具体位置,另一方面需要处理write-write冲突问题。

    这个方案也有一些变种。比如说写入时先不去查找更新key的位置,而是先将这些key记录到一个buffer中,使用后台任务将这些key转成DeleteBitmap。然后在查询的时候通过merge on read的方式处理buffer中的增量key。

    Upsert和Delete使用示例

    首先我们建了一张UniqueMergeTree的表,表引擎的参数和ReplacingMergeTree是一样的,不同点是可以通过UNIQUE KEY关键词来指定这张表的唯一键,它可以是多个字段,可以包含表达式等等。

    下面对这张表做写入操作就会用到upsert的语义,比如说第6行写了四条数据,但只包含1和2两个key,所以对于第7行的select,每个key只会返回最高版本的数据。对于第11行的写入,key 2是一个已经存在的key,所以会把key 2对应的name更新成B3; key 3是新key,所以直接插入。最后对于行删除操作,我们增加了一个delete flag的虚拟列,用户可以通过这个虚拟列标记Batch中哪些是要删除,哪些是要upsert。

    UniqueMergeTree表引擎的亮点

    • 对于Unique表的写入,我们会采用upsert的语义,即如果写入的是新key,那就直接插入数据;如果写入的key已经存在,那就更新对应的数据。

    • UniqueMergeTree表引擎既支持行更新的模式,也支持部分列更新的模式,用户可以根据业务要求开启或关闭。

    • ByteHouse也支持指定Unique Key的value来删除数据,满足实时行删除的需求。支持指定一个版本字段来解决回溯场景可能出现的低版本数据覆盖高版本数据的问题。

    • 最后ByteHouse也支持数据在多副本的同步,避免整体系统存在单点故障。

    在性能方面,我们对UniqueMergeTree的写入和查询性能做了性能测试,结果如下图(箭头前是ReplacingMergeTree的消耗时间,箭头后是UniqueMergeTree的消耗时间)。

    不难发现,相较于ReplacingMergeTree,UniqueMergeTree的写入性能稍有下滑,不过在查询性能方面却实现了数量级的飞跃。我们再深入对比UniqueMergeTree和普通MergeTree的查询性能,会发现二者极为接近。

    增强后的实施人群圈选

    经过UniqueMergeTree的加持,在原有架构不变的情况下,完美的满足了实时人群圈选场景的要求。

    1、通过Unique Key配置唯一键,提供upsert更新写语义,查询自动返回每个唯一键的最新值

    2、性能:单shard写入吞吐可以达到10k+行/s;查询性能与原生CH表几乎相同

    3、支持根据Unique Key实时删除数据

    此外,ByteHouse还通过UniqueMergeTree支持了一些其他特性:

    1、唯一键支持多字段和表达式

    2、支持分区级别唯一和表级别唯一两种模式

    3、支持自定义版本字段,写入低版本数据时自动忽略

    4、支持多副本部署,通过主备异步复制保障数据可靠性

    不仅在实时人群圈选场景,ByteHouse提供的upsert能力已经服务于字节内部众多应用,线上应用的表数量有数千张,受到实时类应用的广泛欢迎。

    除Upsert能力外,ByteHouse在为原生ClickHouse的企业级能力进行了全方位的增强。

    立即跳转 火山引擎BytHouse官网了解详情!
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用 字节跳动
    相关文章 更多
    字节跳动 AI Agent 平台扣子 2.0 发布
    字节跳动 AI Agent 平台扣子 2.0 发布

    扣子2.0发布四项核心能力:AgentSkills将业务场景和工具链封装为技能包;AgentPlan支持设定中长期目标并自主规划执行;AgentOffice提供上下文理解和决策级洞察;AgentCoding实现自然语言驱动的云端一体化开发环境。

    字节跳动赠送努比亚 M153豆包手机每月68元会员权益至12月31日有效
    字节跳动赠送努比亚 M153豆包手机每月68元会员权益至12月31日有效

    此次字节跳动专门为每位努比亚M153“豆包手机”用户赠送的每月价值68元的标准版会员,其有效期至2026年12月31日,该会员权益随豆包账号通用,将默认发放给设备上最活跃的账户。

    字节跳动考虑采用百度昆仑芯?接近人士:字节没有与其合作意向
    字节跳动考虑采用百度昆仑芯?接近人士:字节没有与其合作意向

    据悉,百度旗下昆仑芯计划港股上市,估值约500亿美元。腾讯已成其客户,字节跳动评估其AI芯片但接近人士否认合作。其P800芯片已完成规模化验证,支撑文心5.1大模型训练。

    百度昆仑芯传赴港上市,字节跳动否认合作意向
    百度昆仑芯传赴港上市,字节跳动否认合作意向

    百度旗下AI芯片公司昆仑芯传赴港上市,腾讯已为其客户,但字节跳动否认合作意向。火山引擎总裁谭待称自研芯片不重要,模型能力才是核心竞争力。昆仑芯已完成六轮融资,三代产品亮相。

    字节CEO梁汝波发全员信:管理者要深入一线 直面真实业务问题
    字节CEO梁汝波发全员信:管理者要深入一线 直面真实业务问题

    字节跳动CEO梁汝波时隔四年更新十条领导力原则,新增“做有高度的事”等条目,强调管理者深入一线、信息透明优先于控制,并直接纳入晋升与考核标准,以整治形式化和业务空转。

    字节跳动更新领导力原则
    字节跳动更新领导力原则

    字节跳动近期更新领导力原则,围绕“勇攀高峰”方向,在原有基础上新增“做有高度的事”“敢于设定高目标”,将“有危机感”“深入一线”独立成条,并强调信息共享与有效控制。更新后共十条原则。

    字节跳动与新加坡国立大学联手打造
    字节跳动与新加坡国立大学联手打造"AI调色师"

    字节跳动等机构提出DanceOPD框架,将文字生图、局部编辑和全局编辑统一为速度场,采用硬路由、在线取经和单次语义侧取经策略,使模型同时掌握多种能力且互不干扰。实验表明,该框架在编辑和生成任务上显著优于现有方法。

    香港大学与字节跳动联手:教机器人
    香港大学与字节跳动联手:教机器人"看"人类动作来学习新技能

    香港大学与字节跳动联合提出“桥接动作”方法,仅保留手腕三维平移轨迹,丢弃旋转信息,从人类操作视频学习机器人技能。在15个双臂任务上,经三阶段训练后平均成功率达60%,进度分72%。该方法有效解决人类与机器人运动机制差异问题。

    (G-G) Gemini Omni Flash 登顶 Video Arena 盲测榜 领先字节 Seedance 2.0 Mini 模型 101 Elo
    (G-G) Gemini Omni Flash 登顶 Video Arena 盲测榜 领先字节 Seedance 2.0 Mini 模型 101 Elo

    DeepMind的GeminiOmniFlash模型以1404Elo登顶VideoArena盲测榜,领先字节Seedance2.0Mini达101Elo,较自家Veo提升7位。盲测基于用户真实投票,谷歌在视频生成领域实现显著突破。

    “咕咕嘎嘎”被字节抢注版权 网友炸锅:全民玩梗怎就成了大厂“私产”?
    “咕咕嘎嘎”被字节抢注版权 网友炸锅:全民玩梗怎就成了大厂“私产”?

    字节跳动登记“咕咕嘎嘎”等网络表情包著作权引发争议。该形象由网友、AI工具等共创,登记后可能限制二创。法律上登记合法,但权属存疑。此举或为AI训练合规化及构建内容壁垒,反映互联网开放共创与大厂商业化间的冲突。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。