当前位置:

首页 > 系统应用 > 百度用户产品流批一体的实时数仓实践

百度用户产品流批一体的实时数仓实践

导读:本文主要介绍如何基于流批一体的技术架构构建实时数仓,在严格的资源成本限制下,满足业务对于数据时效性、准确性的需求。文章整体包含4个部分,首先会介绍下大数据架构演进,从经典架构到Lambda架构再到Kappa架构;然后会介绍下我们做流批一体实时数仓的背景,旧架构面临的主要问题;第三会介绍下我们流

本文目录

    导读:本文主要介绍如何基于流批一体的技术架构构建实时数仓,在严格的资源成本限制下,满足业务对于数据时效性、准确性的需求。文章整体包含4个部分,首先会介绍下大数据架构演进,从经典架构到Lambda架构再到Kappa架构;然后会介绍下我们做流批一体实时数仓的背景,旧架构面临的主要问题;第三会介绍下我们流批一体实时数仓的技术方案,关键问题的突破;最后一部分是总结和规划,我们的技术方案达成了什么样的业务效果。

    全文4735字,预计阅读时间12分钟。

    一、大数据架构演进

    1.经典离线数仓架构介绍

    经典的离线数据仓库主要分为4层:

    1)操作数据层(Operational Data Store),存储基础数据,做简单数据清洗。

    2)明细数据层(Data Warehouse Detail),构建最细粒度的明细层事实表。

    3)汇总数据层(Data Warehouse Summary),按照主题,对明细数据进行汇总。

    4)应用数据层(Application Data Store),存放业务个性化统计指标,面向最终展示。

    经典的离线数仓的优缺点十分清晰,优点是架构简单,开发成本低,资源成本低,数据易管理,数据差别小;缺点是数据时效性差、缺少实时数据。

    2.Lambda架构介绍

    lambda架构是由Storm作者Nathan Marz于2011年提出的实时数仓架构,初衷也是弥补经典数仓架构时效性差的问题。整个架构会分三层:

    1)Batch Layer:批处理层,这一层其实基本是复用了经典数仓分层架构,数据也是基于ods 、dwd、dws、ads的结构进行组织,也就保留了经典数仓数据准确、全面的特点。使用技术栈也是跟经典数仓一致,主要以mr、hive、spark等离线计算框架为主。

    2)Speed Layer:加速处理层,这一层的重点在于产出高时效性的数据,对于数据的准确性和完整性可能会有一些降级,一般会采用kafka等消息中间件进行数据传输和存储,采用一些像Storm、Spark streaming 、Flink 等流式计算框架进行数据计算。

    3)Serving Layer:服务层,这一层会将speed layer和batch layer层的数据进行合并和替换,输出到一些数据库或者olap引擎中,支撑上层的数据应用。

    相比于经典数仓,Lambda架构由于引入了speed layer,能够把数据的时效性大大提前,由于同时具有speed layer和batch layer,使得Lambda架构能够同时兼顾数据准确性和数据的时效性,另外batch layer基本兼容了经典数据架构,所以在从经典数仓架构迁移Lambda架构的时候,可以省去一部分沉重的历史包袱,至于缺点嘛,也是因为Lambda架构同时具有speed layer和batch layer,那就会导致这么几个问题:

    1)一个需求会有两套代码,同时开发两遍,也就会造成开发成本的浪费。

    2)资源需要两份,一份离线的资源,一份流式的资源,整体资源占用比较多。

    3)数据差异问题,离线和实时的数据总是有差异,对不齐,体验比较差。

    3.Kappa架构介绍

    随着流式计算框架的不断发展,尤其是针对不重不丢语义的支持越来越好,Confluent公司CEO Jay Kreps于2014年提出了kappa架构。Kappa架构的核心思想是去掉Lambda架构的batch layer,实时计算和离线计算使用同一套代码。通过一套架构来同时满足业务对于准确性、全面性、时效性的要求。

    首先,kappa架构肯定是解决了Lambda架构的几个缺点,因为实时离线使用一套代码,整个开发成本大大的降低,资源的成本也有了一定的节省,同时最关键的是实时和离线的统计做到了统一,消除了各类在离线数据diff问题。那当然,kappa架构也不是完美的,它也有一些缺点:

    1)数据回溯的问题,业务口径的变更会带来数据回溯,kappa架构没有离线数据流,回溯的成本是很高的。

    2)随着业务的复杂度增加,数据源的复杂度也增加,流式计算环节会面临各种复杂关联场景的挑战,开发和维护的成本非常高。

    一些新业务,数仓可以从0开始建,Lambda架构的落地成本还是可以接受的。但是大多数情况下,我们的数仓建设都有沉重的历史包袱,好多存量逻辑面临实时化的改造,而这些改造往往是成本高,收益小。

    二、背景

    首先介绍一下旧的架构,根据前面讲的大数据架构演进,可以看出来旧的架构是一个Lambda架构。旧的架构也是基于经典数仓架构演变而来,新增了实时流部分,满足业务的高时效性诉求。深蓝的部分是离线流,浅蓝部分是实时流:

    1)离线流

    最底层是数据源,主要有两类,一类来源于日志打点,比如一些展现日志、点击日志,一类来源于业务的数据库,比如一些订单数据、物料数据。日志打点的数据经过日志采集工具小时或天级采集到文件系统上,业务数据库的数据经过dump工具天级别采集到文件系统上,再经过离线的数据清洗,构建数据仓库。数据仓库也是经典的分层数仓,数仓上层主要是承接多维分析和报表需求。

    2)实时流

    日志打点这块通过实时的数据采集,将有时效性要求的数据写入到消息队列,业务数据库的数据也通过采集binlog等变更流信息,将有时效性要求的数据写入到消息队列,消息队列之后就是流式计算环节,这个环节会按照需求,分别进行数据加工,满足策略信号、实时报表、实时应用的诉求。

    旧架构在实际的使用过程中,也遇到了一系列的问题:

    1)由于业务比较复杂,采用分层建模,数据表量级在千张级别,表关联场景多,一次查询可能需要关联几十张表,查询时效慢,平均时效在几十分钟级别。

    2)数据延迟严重,大部分数据都是天级产出,个别小时级的数据产出也要延迟几个小时。

    3)实时和离线数据存在差异,不能对齐,每次需要开发两套代码,维护成本高。

    三、技术方案

    1.整体架构

    我们的流批一体实时数仓整体架构,整体上是一种Lambda和kappa的混合架构:

    1)最关键的变化其实是数据清洗和数据仓库环节,每个字段会根据使用场景的时效性要求,来确定数据流是走实时还是离线。一个字段要么走实时,要么走离线,实时和离线不再是补充关系而是替换关系。这样也就避免了Lambda架构典型问题,实时离线两套代码、在离线数据不一致。同时没有时效性诉求的字段还是继续保留离线的处理逻辑,没必要强行切换到实时,增加资源成本和开发维护成本。

    2)整个数据仓库也由之前的分层建模变成了宽表建模,实时字段和离线字段通过分钟级的merge合并成一张宽表。整体的建模思路也不再面向数据源建模,而是面向使用建模,保证业务方在使用的时候表尽量少,减少表的关联,降低查询耗时。

    2.关键问题突破

    1)数据更新问题

    针对实时数仓,其实比较简单的是纯日志场景,一个典型的日志场景的实时数仓方案大概是这样的,原始的日志经过实时采集写入到消息队列中,再在流式计算环节,通过固定的时间窗口写入到文件中就好了,日志数据其实是不会变化的,日志打印那一刻数据就固定了,但是数据库数据是不一样的,他是会更新的,像比如说订单的状态,物料的属性,都可能会发生变化,但是分布式的文件系统往往是不支持更新的,那随着计算窗口的变大,吞吐能力和可维护性都变差。

    我们的解决方案大致如此。针对数据库数据,我们首先采集变更信息binlog,将其写入消息队列。而后采用CopyOnWrite机制,通过滚动5分钟的合并过程,把base文件和delta文件进行合并,持续生成最新的可用版本。未选用MergeOnRead方案,关键原因在于要满足业务诉求。业务对查询的时效性极为敏感,必须达到秒级别,而对数据导入的时效性则没有特别高的要求,分钟级即可满足需求。

    2)多表关联问题

    离线场景典型的数据关联方案大概是这样的,有一张db主表,几张关联表,通过spark或者其他的离线计算框架关联到一起,再写入到文件系统中,供查询引擎进行查询。每一个表的数据量可能都很大,就会触发shuffle join,关联性能非常差。

    来看一下我们的解决方案,这个方案可以简单描述为三次关联:

    每一张表都能够根据问题一的解决方案产生base文件和delta文件,base文件就包含了主表或者关联表的截止到某一个时刻的全部记录,那delta文件就包含了主表或者关联表在某个时间窗口内的变更记录。因为通常这种情况下,数据库的数据只是存量的记录比较多,但是增量的更新相对较少。所以每一个表的delta文件都是相对较小的,那这三次关联都是存在小数据集的,虽然关联了多次,但整体的时效还是满足预期的。

    3)数据库和日志关联问题

    对于数据库和日志关联的问题,典型的解决方案大概是这样的,将数据库数据全量写入一个高性能缓存中,将日志数据在流式计算环节进行处理,然后通过查询高性能缓存的方式将数据库相关字段进行拼接,最终再通过固定的窗口写入到文件系统中,供查询引擎查询。那这个方案主要有这样的问题,存量的数据库记录非常多,这就要求缓存要有很大的容量,再一个是日志的吞吐特别高,这就会导致拼接的过程需要频繁查询缓存,也就是说,对缓存的读qps和容量都有比较高的要求,这就导致缓存的资源成本非常高。

    对于日志数据,通过日志采集写入到消息队列中,在流式计算环节通过固定的窗口产生delta文件,对于数据库数据,采用多表关联解决方案,能够滚动的产出可查询的版本,有变化的是采取了一个冷热数据分离的方案,日志的delta文件分钟级滚动合并的时候,只合并热数据,对于冷的数据进行天级别的合并。这个实现的降级其实也主要是以最低的成本,来满足业务最核心的诉求,业务最主要的诉求就是热数据能够快速查到,数据准确一致。这个方案整体上也是参考了一些Lambda架构的思想,虽然有冷热数据两次不同的合并,但是合并的逻辑是一致的不需要写两份代码,只不过资源层面会新增一份全量数据的关联,但是从整体看,既满足了需求,资源又没有增加太多。

    4)数据水平问题

    前面也说了,我们的建模从之前的分层建模改成了宽表建模,而宽表建模有个最大的问题就是数据到位时间问题,那通常情况下所有的依赖表数据都产出之后,宽表才能产出。

    实际情况下,我们的数据源往往是复杂的,比如有一部分表能实时产出,分钟级延迟,但有些表因为一些特殊的逻辑只能T+1,甚至T+2产出。

    总体的方案就是数据按版本产出,字段按需实时化,原始的日志、数据库数据,通过前面讲的三个解决方案,能够保证实时的字段分钟级产出可查询版本,对于一些时效性不敏感的字段可能是T+1产出,对于一些复杂计算或者第三方回传的字段可能是T+2产出,但是整体的展现形式是一张宽表,同时在业务使用宽表的时候展示字段可用状态。

    四、总结和规划

    流批一体的实时数仓架构,大幅度降低了数据的导入延迟和数据查询的耗时。

    之前,数据导入的延迟要以小时甚至天来计算,现在呢,已经被优化到分钟级别了。而且,数据查询的耗时也从之前的分钟级大幅缩短到了秒级别。这一优化,可真是极大地提升了业务对数据时效性的体验啊!还有呢,实时和离线的逻辑实现了统一,再也不需要同时开发两套代码来处理相同的逻辑了。这样一来,不仅降低了开发和维护的成本,还彻底消除了长期以来一直困扰业务的在离线数据差异问题。

    我们的后续规划有引擎查询性能持续提升,上层查询工具体验优化等方向,也欢迎业界感兴趣的同行们一起探讨。

    ---------- END ----------

    推荐阅读【技术加油站】系列:

    ffplay视频播放原理分析

    百度工程师眼中的云原生可观测性追踪技术

    使用百度开发者工具 4.0 搭建专属的小程序 IDE

    百度工程师教你玩转设计模式(观察者模式)

    揭秘百度智能测试在测试自动执行领域实践

    H.265编码原理入门

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用 百度
    相关文章 更多
    百度15.84.0如何使用智能搜索、识图和语音输入?
    百度15.84.0如何使用智能搜索、识图和语音输入?

    百度15.84.0的iOS发行说明为已知问题修复与体验改进。使用智能搜索时,可根据问题选择文字、图片或语音入口;这些搜索方式是应用已有能力,不应把本次维护版本写成首次推出新模型。

    百度开放ERNIE 5.5 Flash Base权重:基座模型定位与使用指南
    百度开放ERNIE 5.5 Flash Base权重:基座模型定位与使用指南

    面向计划进行后续训练与研究的开发者,百度于2026年11月5日开放ERNIE 5.5 Flash Base模型权重。该版本定位为基座模型,不具备直接对话适配能力,不同于面向普通用户的聊天助手。本文解析基座模型与聊天应用的区别,说明下载权重并非完整落地流程,需结合运行框架、硬件资源及许可条件进行评估。提醒用户此次开放不涉及文心全系产品升级,建议开发团队先阅读模型卡与许可要求,通过小规模任务验证输出效果与资源占用,避免直接用默认聊天体验作为唯一判断标准。

    百度导航地图更新版_百度导航官方下载
    百度导航地图更新版_百度导航官方下载

    截至2026年8月18日,百度地图安卓最新官方版为v21.6.0,需通过正式map.baidu.com直装或百度手机助手下载;iOS用户须通过App Store安装,版本以正式标注为准,不可信非最新渠道。想在手机上安装最新版百度地图最新应用,确保能用上实时路况、AR实景导航和未来7天任意时刻路线规划

    115、百度网盘 618 加促 2 天:VIP & 超级会员低至 75 元起 / 年均探底
    115、百度网盘 618 加促 2 天:VIP & 超级会员低至 75 元起 / 年均探底

    百度网盘超级会员年卡限时特惠,原价298元,现仅189元加送2个月共14个月,月均仅13.5元,年付低至162元,活动至6月20日,比原价节省109元。115网盘VIP两年仅150元,另有多种联合会员套餐可选,如百度网盘联合套餐等,超值优惠,机会难得。

    百度旗下文心助手月活跃用户数突破 2 亿
    百度旗下文心助手月活跃用户数突破 2 亿

    百度旗下文心助手月活跃用户数突破两亿大关,依托文心大模型与DeepSeek技术,实现搜索、服务与创作一体化,并内测了多人协同多Agent群聊功能,推动AI从单点对话向群体协作演进,这标志着AI应用进入新阶段。

    如何查看百度杀毒日志
    如何查看百度杀毒日志

    在使用百度杀毒进行电脑防护的过程中,查看杀毒日志能够帮助我们了解软件的运行情况、检测到的威胁以及处理结果等重要信息。那么,该如何查看百度杀毒日志呢?首先,打开百度杀毒软件。确保软件已经成功安装并正常运行在你的电脑上。找到百度杀毒软件的主界面图标,双击打开它。进入百度杀毒主界面后,在界面的上方菜单栏中

    多重冲击之下,百度不知道如何做搜索了
    多重冲击之下,百度不知道如何做搜索了

    8月20日,新任百度App研发中心负责人何径舟首次公开亮相,他带来了两项搜索的产品升级。其中一项是搜索结果形态"GUI通识卡片"。在体验交流时,一位百度负责产品的人员向透露,这是其首创的"整页可交互"的搜索结果形态,能够把知识卡片、步骤图解、可交互动画整合成一个完整页面,目前覆盖数理化的全部高频考点

    百度相册官网照片管理入口 百度相册官方网页版平台
    百度相册官网照片管理入口 百度相册官方网页版平台

    百度相册的正式入口是https://xiangce.baidu.com/index.html ,它有四大核心功能:多端同步、智能整理、隐私控制和离线协作。多端同步可实现网页端、app端和tv版之间的实时同步,如网页端新增照片会实时同步至百度App内的“一刻相册”模块,手机端编辑的文字描述或标签也能反

    百度相册官方在线入口 百度相册官网最新登录地址
    百度相册官方在线入口 百度相册官网最新登录地址

    百度相册的最新在线入口为xiangce.baidu.com。它拥有诸多强大的核心功能,比如能实现原图无损上传,让你珍贵的照片保持最原始的清晰度;多端同步功能更是方便至极,无论你在电脑、手机还是平板上操作,数据都能实时同步;智能分类可根据图像内容自动识别出人物、地理位置、宠物、文字等二十类属性,让你的

    百度相册网页版在线平台 百度相册官网官方登录入口
    百度相册网页版在线平台 百度相册官网官方登录入口

    想登录百度相册网页版?入口就在xiangce.baidu.com,主流浏览器都能直接访问哦!而且支持百度账号一键登录,还有扫码/密码双通道验证,超方便。它的功能也很强大,有智能排序、多级分类、批量操作,能满足你各种管理照片的需求。不仅如此,还提供历史快照,让你随时回溯照片的变化,并且实现跨端实时同步

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。