当前位置:

首页 > 软件教程 > 字节跳动Doris湖仓分析实践分享

字节跳动Doris湖仓分析实践分享

分享嘉宾:杜军令字节跳动大数据工程师出品平台:DataFunTalk导读:Doris是一种基于MPP架构的分析型数据库,主要用于多维分析、数据报表和用户画像分析等场景。它自带分析引擎和存储引擎,支持向量化执行引擎,无需依赖其他组件,并兼容MySQL协议。01Doris概述ApacheDoris具有以下特点:优化的架构设计,支持高并发和低延迟的查询服务,适合高吞吐量的交互式分析。多FE节点均可对外提供服务,随着并发需求增加,通过线性扩展FE和BE节点即可满足高并发查询需求。支持批量和流式数据加载,支持

本文目录

    字节跳动基于Doris的湖仓分析探索实践分享嘉宾:杜军令 字节跳动 大数据工程师

    出品平台:DataFunTalk

    导读:Doris是一种基于MPP架构的分析型数据库,主要用于多维分析、数据报表和用户画像分析等场景。它自带分析引擎和存储引擎,支持向量化执行引擎,无需依赖其他组件,并兼容MySQL协议。

    01

    Doris概述

    Apache Doris具有以下特点:

    优化的架构设计,支持高并发和低延迟的查询服务,适合高吞吐量的交互式分析。多FE节点均可对外提供服务,随着并发需求增加,通过线性扩展FE和BE节点即可满足高并发查询需求。支持批量和流式数据加载,支持数据更新。支持Update/Delete语法,unique/aggregate数据模型,支持动态更新数据,实时更新聚合指标。提供高可用性、容错处理和高扩展性的企业级功能。FE Leader出现异常时,FE Follower可在几秒内切换为新Leader,继续对外提供服务。支持聚合表和物化视图。多种数据模型,支持aggregate, replace等多种数据模型,支持创建rollup表和物化视图。rollup表和物化视图支持动态更新,无需用户手动处理。兼容MySQL协议,支持直接使用MySQL客户端连接,数据应用对接非常便捷。Doris由Frontend(简称FE)和Backend(简称BE)组成,FE负责接受用户请求、编译、优化、分发执行计划、元数据管理以及BE节点的管理等功能,BE则负责执行FE下发的执行计划,存储和管理用户数据。

    字节跳动基于Doris的湖仓分析探索实践02

    数据湖格式Hudi简介

    Hudi是下一代流式数据湖平台,为数据湖提供了表格式管理能力,支持事务、ACID、MVCC、数据更新删除和增量数据读取等功能。支持Spark, Flink, Presto, Trino等多种计算引擎。

    字节跳动基于Doris的湖仓分析探索实践Hudi根据数据更新行为分为两种表类型:

    字节跳动基于Doris的湖仓分析探索实践针对Hudi的两种表格式,有三种不同的查询类型:

    字节跳动基于Doris的湖仓分析探索实践03

    Doris分析Hudi数据的技术背景

    随着业务对数据实时性要求的提高,数仓业务从T+1逐渐演变为小时级、分钟级,甚至秒级。实时数仓的应用范围也在扩大,并经历了多个发展阶段。目前有多种解决方案。

    1. Lambda架构

    Lambda架构将数据处理流分为在线分析和离线分析两条路径,两条路径相互独立,互不影响。

    离线分析处理T+1数据,使用Hive/Spark处理大数据量,不可变数据,数据通常存储在HDFS等系统上。如果需要更新数据,必须overwrite整张表或整个分区,成本较高。

    在线分析处理实时数据,使用Flink/Spark Streaming处理流式数据,分析处理秒级或分钟级流式数据,数据保存在Kafka或定期(分钟级)保存到HDFS中。

    该方案存在以下缺点:

    同一套指标可能需要开发两套代码分别进行在线和离线分析,维护复杂。数据应用查询指标时可能需要同时查询离线和在线数据,开发复杂。需要同时部署批处理和流式计算两套引擎,运维复杂。数据更新需要overwrite整张表或分区,成本高。2. Kappa架构

    随着在线分析业务的增加,Lambda架构的缺点愈发明显,增加一个指标需要分别开发在线和离线版本,维护困难,离线指标可能与在线指标不一致,部署复杂,组件繁多。因此,Kappa架构应运而生。

    Kappa架构使用一套架构处理在线和离线数据,使用同一套引擎同时处理在线和离线数据,数据存储在消息队列上。

    Kappa架构也存在一些限制:

    流式计算引擎的批处理能力较弱,处理大数据量性能较差。数据存储使用消息队列,消息队列对数据存储有有效性限制,无法回溯历史数据。数据时序可能乱序,可能对时序要求严格的应用造成数据错误。数据应用需要从消息队列中取数,开发复杂,需要开发适配接口。3. 基于数据湖的实时数仓

    针对Lambda架构和Kappa架构的缺陷,业界基于数据湖开发了Iceberg, Hudi, DeltaLake等数据湖技术,使得数仓支持ACID, Update/Delete,数据Time Travel, Schema Evolution等特性,数仓的时效性从小时级提升到分钟级,数据更新也支持部分更新,大大提高了数据更新的性能。兼具流式计算的实时性和批计算的吞吐量,支持近实时场景。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    软件教程
    相关文章 更多
    钉钉考勤机蓝牙打卡怎么开启 自动打卡设置
    钉钉考勤机蓝牙打卡怎么开启 自动打卡设置

    管理员在考勤组里勾上蓝牙打卡并登记设备标识,手机开蓝牙靠近设备即可打卡;想自动打就开极速打卡,并给钉钉后台运行和附近设备权限。

    迅雷影音冷门番剧搜不到字幕怎么办 手动加载方法
    迅雷影音冷门番剧搜不到字幕怎么办 手动加载方法

    冷门番剧搜不到字幕是字幕库按文件名匹配,压制组标记太多匹配不上。先把文件名改成剧名加集数再搜,仍没有就手动加载字幕文件并调时间轴。

    讯飞听见采访录音整理怎么标注重点 打点功能用法
    讯飞听见采访录音整理怎么标注重点 打点功能用法

    录音中点工具栏的记一下即可打点,也可直接输入短文字做书签,转写后在文稿里点标记跳回对应录音,配合标签和AI纪要快速整理。

    学习通云盘链接怎么分享 作业替代提交方法
    学习通云盘链接怎么分享 作业替代提交方法

    云盘默认只对本课程成员可见,对外分享要先改权限,改不了就把文件下载下来转发;文件传不上时可用链接替代提交,需教师同意。

    企业微信视频会议怎么发起 群聊内操作步骤
    企业微信视频会议怎么发起 群聊内操作步骤

    群聊窗口点输入框右侧加号,在应用面板里选视频会议,勾选参会人即可发起;也可从工作台-会议或日程创建,会议会自动写进日程。

    WinRAR如何查看压缩包内文件大小 不解压预览
    WinRAR如何查看压缩包内文件大小 不解压预览

    双击用WinRAR打开压缩包就能看到名称、大小、类型、修改时间清单,状态栏给总计;选中文本文件点查看可直接预览内容,点表头按大小排序能找出体积大头。

    Microsoft 365怎么用Excel做数据透视表
    Microsoft 365怎么用Excel做数据透视表

    选中区域点插入-数据透视表,把部门拖到行、月份拖到列、金额拖到值;源数据要一行一条记录且首行是唯一字段名,改完数据记得刷新。

    钉钉审批模板怎么复制修改 快速搭建新流程
    钉钉审批模板怎么复制修改 快速搭建新流程

    后台工作台-审批-表单管理,找到结构接近的模板,在更多里复制,改名后删掉多余字段、改审批人和条件,发布后把原模板停用。

    迅雷影音倍速播放按钮在哪里长按有什么功能
    迅雷影音倍速播放按钮在哪里长按有什么功能

    倍速按钮在播放控制栏右侧,也能在右键菜单里选;长按是临时加速、松开恢复原速,不改全局设置。

    讯飞听见离线录音怎么用 没网也能记录的方法
    讯飞听见离线录音怎么用 没网也能记录的方法

    开始录音前把模式切成离线录音,只把声音存到本机不实时转写;联网后在本地文件列表选中记录点转写,补设语种和领域即可出稿。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。