当前位置:

首页 > 系统应用 > 【遇见Doris】基于Doris的有道精品课数据中台建设实践

【遇见Doris】基于Doris的有道精品课数据中台建设实践

李荣谦有道精品课数据中台团队 数据中台实时数仓负责人我们本次想要和大家分享一下有道精品课数据中台的架构演进过程,以及Doris作为一个MPP分析型数据库是如何为不断增长的业务体量提供有效支撑并进行数据赋能的。本文以我们在实时数仓选型的经验为切入点,进一步着重分享使用Doris过程中遇到的问题以及我们

本文目录

    李荣谦有道精品课数据中台团队 数据中台实时数仓负责人

    我们本次想要和大家分享一下有道精品课数据中台的架构演进过程,以及Doris作为一个MPP分析型数据库是如何为不断增长的业务体量提供有效支撑并进行数据赋能的。

    本文以我们在实时数仓选型的经验为切入点,进一步着重分享使用Doris过程中遇到的问题以及我们针对这些问题所做出的调整和优化。

    1 背景

    1.1 业务场景

    根据业务需求,目前有道精品课的数据层架构上可分为离线和实时两部分。离线系统主要处理埋点相关数据,采用批处理的方式定时计算。

    而实时流数据主要来源于各个业务系统实时产生的数据流以及数据库的变更日志,需要考虑数据的准确性、实时性和时序特征,处理过程非常复杂。

    有道精品课数据中台团队依托于其实时计算能力在整个数据架构中主要承担了实时数据处理的角色,同时为下游离线数仓提供实时数据同步服务。

    数据中台主要服务的用户角色和对应的数据需求如下:

    • 运营/策略/负责人主要查看学生的整体情况,查询数据中台的一些课程维度实时聚合数据
    • 辅导/销售主要关注所服务学生的各种实时明细数据
    • 品控主要查看课程/老师/辅导各维度整体数据,通过T+1的离线报表进行查看
    • 数据分析师对数据中台T+1同步到离线数仓的数据进行交互式分析

    1.2 数据中台前期系统架构及业务痛点

    如上图所示,在数据中台1.0架构中我们的实时数据存储主要依托于Elasticsearch,遇到了以下几个问题:

    1. 聚合查询效率不高
    2. 数据压缩空间低
    3. 不支持多索引的join,在业务设计上我们只能设置很多大宽表来解决问题
    4. 不支持标准SQL,查询成本较高
    2 实时数仓选型

    基于上面的业务痛点,我们开始对实时数仓进行调研。当时调研了Doris, ClickHouse, TiDB+TiFlash, Druid, Kylin。

    由于起初我们数据中台只有两名开发,而且存储相关的东西需要自行运维,所以我们对运维的成本是比较敏感的,在这一方面我们首先淘汰了Kylin和ClickHouse。

    在查询方面,我们的场景大多为明细+聚合多维度的分析,所以Druid也被排除。

    最后我们对聚合分析的效率方面进行对比,由于Doris支持Bitmap和RollUp,而TiDB+TiFlash不支持,所以我们最终选择了Doris来作为我们数据中台的主存储。

    3 基于Apache Doris的数据中台2.0

    3.1 架构升级

    在完成了实时数仓的选型后,我们针对Doris做了一些架构上的改变以发挥它最大的作用,主要分为以下几个方面:

    Flink双写

    将所有Flink Job改写,在写入Elasticsearch的时候旁路输出一份数据到Kafka,并对复杂嵌套数据创建下游任务进行转化发送到Kafka,Doris使用Routine Load导入数据。

    Doris on ES

    由于之前我们的实时数仓只有ES,所以在使用Doris的初期,我们选择了通过Doris创建ES外表的方式来完善我们的Doris数仓底表。同时也降低了查询成本,业务方可以无感知地使用数仓底表。

    具体查询Demo如下所示,我们通过学生的基础信息Join各种练习信息,对学生数据进行补齐。

    数据同步

    原来我们使用ES的时候,由于很多表没有数据写入时间,数据分析师需要每天扫全表导出全量数据到Hive,这对我们的集群有很大压力,并且也会导致数据延迟上升,我们在引入了Doris后,对所有数仓表都添加 eventStamp, updateStamp, deleted这三个字段。

    • eventStamp:事件发生时间
    • updateStamp:Doris数据更新时间,在Routine Load中生成
    • deleted:数据是否删除,由于我们很多实时数仓需要定时同步到离线数仓,所以数据需要采取软删除的模式

    数据对下游同步时可以灵活的选择eventStamp或者updateStamp进行增量同步。

    数据同步我们采用了多种方式,通过Hive表名后缀来决定不同同步场景:

    • _f:每天/每小时全量同步,基于Doris Export全量导出
    • _i:每天/每小时增量同步,基于Doris Export按分区导出/网易易数扫表导出
    • _d:每天镜像同步,基于Doris Export全量导出

    指标域划分/数据分层

    将Elasticsearch中的数据进行整理并结合后续的业务场景,我们划分出了如下四个指标域:

    根据上面的指标域,我们基于星型模型开始构建实时数仓,在Doris中构建了20余张数仓底表以及10余张维表,通过网易易数构建了完整的指标系统。

    微批生成DWS/ADS层

    由于我们多数场景都是明细+聚合数据的分析,所以我们基于Doris insert into select的导入方式,实现了一套定时根据DWD层数据生成DWS/ADS层数据的逻辑,延迟最低可以支持到分钟级,整体的多层数仓表计算流程如下图:

    对于明细数据在TiDB或者ES的,我们选择了在Flink中进行窗口聚合写入到下游Doris或者ES中。而对于明细数据只在Doris单独存在的数据,由于我们大部分使用了异步写入的方式,所以数据无法立即可读,我们在外围构建了支持模版化配置的定时执行引擎,支持分钟/小时级别的扫描明细表变更写入下游聚合表,具体模版配置如下图:

    源表以及变更字段的监听配置必不可少,在interval时间窗口内,对多个源表进行扫描,扫描结果经merge后生成参数,再依据threshold进行拆分,传入多个insert sql中,最后每天凌晨进行T+1的全量聚合,以修复微批计算的错误数据。

    具体的计算触发逻辑如下图:

    数据血缘

    我们基于拉取Routine Load和Flink数据以及服务上报的方式实现了数据中台完善的数据血缘,供数据开发/数据分析师进行查询。

    由于我们的Flink开发模式为提交jar的形式,为了获取到任务的血缘,我们对每个算子的命名进行了格式化封装,血缘服务定时的拉取/v1/jobs/overview数据进行解析,我们将不同算子的格式命名封装为以下几种:

    • Source:sourceTypeName [address] [attr]
    • Sink:sinkTypeName [address] [attr]

    具体的血缘服务逻辑如下图所示:

    通过血缘服务内部的解析后,批量地将血缘数据拆分成了Node与Edge存储到了NebulaGraph中,前台服务进行查询即可获得如下图所示的一条完整血缘:

    3.2 数据中台2.0架构

    基于围绕Doris的系统架构调整,我们完成了数据中台2.0架构

    • 使用网易易数数据运河替换Canal,拥有了更完善的数据订阅监控
    • Flink 计算层引入 Redis/Tidb 来做临时/持久化缓存
    • 复杂业务逻辑拆分至 Grpc 服务,减轻 Flink 中的业务逻辑
    • 数据适配层新增 Restful 服务,实现一些 case by case 的复杂指标获取需求
    • 通过网易易数离线调度跑通了实时到离线的数据同步
    • 新增了数据报表/自助分析系统两个数据出口

    4 Doris带来的收益

    1. 数据导入方式简单,我们针对不同业务场景使用了三种导入方式

    • Routine Load:实时异步数据导入

    • Broker Load:定时同步离线数仓数据,用于查询加速

    • Insert into:定时通过DWD层数仓表生成DWS/ADS层数仓表

    2. 数据占用空间降低,由原来Es中的1T左右降低到了200G左右

    3. 数仓使用成本降低

    • Doris支持MySQL协议,数据分析师可以直接进行自助取数,一些临时分析需求不需要再将Elasticsearch数据同步到Hive供分析师进行查询。

    • 一些在ES中的明细表我们通过Doris外表的方式暴露查询,大大降低了业务方的查询成本。

    • 同时因为Doris支持Join,原来一些需要查询多个Index再从内存中计算的逻辑可以直接下推到Doris中,提升了查询服务的稳定性,加快了响应时间。

    • 聚合计算速度通过物化视图和列存优势获得了较大提升。

    5 上线表现

    目前已经上线了几十个实时数据报表,在线集群的P99稳定在1s左右。同时也上线了一些长耗时分析型查询,离线集群的P99稳定在1min左右。

    同时我们基于Doris完成了标准化数仓的构建,在数据开发上跑通了一套完整的流程,使我们数据需求的日常迭代更加迅速。

    6 总结和规划

    Doris的引入推进了有道精品课数据分层的构建,加速了实时数仓的规范化进程。

    数据中台团队在此基础上一方面向全平台各业务线提供统一的数据接口,并依托于Doris生产实时数据看板,另一方面定时将实时数仓数据同步至下游离线数仓供分析师进行自助分析,为实时和离线场景提供数据支撑。

    对于后续工作的开展,我们做了如下规划:

    1. 基于Doris明细表生成更多的上层聚合表,降低Doris计算压力,提高查询服务的整体响应时间
    2. 基于Flink实现Doris Connector,实现Flink对Doris的读写功能
    3. 开发Doris on ES支持嵌套数据的查询

    最后感谢百度Palo(Doris)团队的鼎力支持,为我们提供了很多技术上的帮助,在问题的解决上也十分迅速,为我们数据中台的飞速发展提供了可靠的支持。

    关于 Apache Doris(Incubating)

    Apache Doris(Incubating) 一款基于大规模并行处理技术的交互式SQL分析数据库,由百度于2018年贡献给 Apache 基金会,目前在 Apache 基金会孵化器中。

    Doris官方网站:http://doris.incubator.apache.org/master/zh-CN/
    Doris Github:https://github.com/apache/incubator-doris
    Doris Gitee镜像:https://gitee.com/baidu/apache-doris
    Doris开发者邮件组:如何订阅
    Doris微信公众号:

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    【精品总结】Swoole热更新(Reload)原理面试详解
    【精品总结】Swoole热更新(Reload)原理面试详解

    Swoole的reload()实质是重启Worker进程,新进程加载新文件,旧进程处理完请求后退出。常见失效原因包括:信号未传到、Worker卡在阻塞I/O或死循环、opcache缓存未失效导致旧代码执行。需确保opcache.validate_timestamps=1且revalidate_freq不为0,同时注意权限和监听路径。

    精品西红柿挑选指南
    精品西红柿挑选指南

    逛菜市场或超市时,西红柿总是最抢眼的蔬果之一。红润饱满的果实,光是看着就让人心情愉悦。无论是快手炒一盘经典的西红柿炒蛋,还是熬一锅浓郁的西红柿肉片汤,选对食材才是美味的基础。今天就来聊聊,怎么从货架上挑出那颗真正优质的西红柿。 第一步:直奔蔬果区,锁定目标货架 出门逛街前,先想好去哪家超市。到了之后

    精品杏鲍菇挑选技巧
    精品杏鲍菇挑选技巧

    逛超市的时候,总爱往蔬菜区溜达。在一堆绿叶菜中间,杏鲍菇这根“白胖子”格外显眼。白白的长条,顶部还带着淡淡的灰色,看着就挺讨喜。这种菌菇,也常被人叫作鸡腿菇——确实,模样活脱脱就是一只肥嫩的小鸡腿。不管是和西红柿、辣椒、肉片一起爆炒,还是简单清炒,口感都爽滑鲜嫩。今天就来聊聊,怎样从货架上挑到真正的

    精品的含义解析
    精品的含义解析

    精品到底该怎么定义?其实这事儿没那么玄乎。分享一个简单粗暴、但特别实用的判断方法:直接去查权威词典。 比如,在百度汉语里搜一下“精品”这个词,结果一目了然—— 答案很直白:精品,指质量上乘、制作精良的物品。没有花里胡哨的包装,没有故弄玄虚的营销话术。核心就两个关键词——质量上乘、制作精良。你手头的东

    精品中的极品,极致之选
    精品中的极品,极致之选

    极品中的极品 1、独出机杼——这四个字原本说的是写文章这件事,得有自己的巧思,不落俗套。所谓“独”,就是独一份的创意;“机杼”本是织布用的梭子和筘,这里借指创作的思路和手法。这话出自《北史·祖莹传》,核心意思再简单不过:写东西得有风骨,有个人风格,别跟着别人屁股后面跑,人云亦云最没意思。只有自创一格

    精品贴的定义与特点解析
    精品贴的定义与特点解析

    精品帖,简单来说,就是论坛里被版主或管理员挑出来加精的优质内容。这类帖子通常由普通帖升级而来,信息详实、可读性强,支持回复互动,原作者也可以随时编辑完善。可以说,精品帖是论坛质量的晴雨表,也是衡量会员内容创作水平的标尺。 那么,什么样的帖子才有资格被加精?标准其实是比较明确的,核心看这几个方面: 首

    打造精品私人影院指南
    打造精品私人影院指南

    电影产业的盘子越做越大,不仅主干道上的影院鳞次栉比,如今连街巷深处也悄然冒出一种新型观影空间——私人影院。这类影院凭借私密、灵活的体验,吸引了大量观众,也成了投资圈的新宠。但问题来了:什么样的私人影院才算得上“优质”?这可不是随便找个房间、放几台设备就能糊弄过去的。它需要舒适的环境、高品质的放映设备

    国内精品视频小说网站有哪些?推荐十个国内精品视频小说观看网站
    国内精品视频小说网站有哪些?推荐十个国内精品视频小说观看网站

    视频小说成为碎片娱乐新宠。本文推荐十个特色平台:剧点短剧主打快节奏原创;墨影书阁专注小说影像化;迷雾剧场深耕悬疑推理;古风画卷聚焦古风题材;次元星球主推二次元改编;脑洞工坊汇聚科幻奇幻创意;轻舟放映提供轻松治愈内容;话本影像鼓励用户自制;侠客行专注武侠仙侠;声画。

    以“情感信用”换挡流量:真人短剧走向精品化的核心一跃
    以“情感信用”换挡流量:真人短剧走向精品化的核心一跃

    真人短剧行业正从追逐流量转向积累情感信用。高密度刺激模式效应递减,建立观众持久信任成为关键。真人表演的“在场感”与细微反应是构建情感信用的基石。行业审核与平台扶持为信用体系提供制度托底,推动创作者深耕内容价值。市场表明,基于真实情感共鸣的作品比单纯刺激更具长。

    鸿蒙智行第五界亮相!尚界为何成年轻人首选?
    鸿蒙智行第五界亮相!尚界为何成年轻人首选?

    2025年4月16日,在鸿蒙智行的新品发布会上,备受瞩目的“第五界”尚界正式亮相。这款由华为与上汽联合打造的全新品牌,可以说是出生于优越条件下的最新“界”。华为通过前“四界”的成功经验,已经积累了业界顶尖的技术,而上汽作为国内拥有70年造车经验的最大车企之一,两者的合作可谓是强强联手。正如余承东在发布会上所说:“华为上汽,强强联合,携手向尚。”以用户为核心,打造优质汽车众所周知,汽车行业的发展历程就是不断探索用户需求的过程,无论是经验丰富的行业领袖,还是新兴的造车企业,都在努力满足用户的需求。因此,尚界从

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。