当前位置:

首页 > 系统应用 > ApacheDruid中的数据模型和查询性能(第一部分:查询性能和分层金字塔模型)

ApacheDruid中的数据模型和查询性能(第一部分:查询性能和分层金字塔模型)

介绍靠数据驱动的应用服务和仪表台会对底层的数据存储的性能及规模提出较高的要求。在当今大数据下的时代,每个应用服务或仪表台都可能在一秒内发出几十甚至上百的查询, 一个设计糟糕的查询就可能摧毁整个用户体验。 本教程详尽阐述了Apache Druid中的数据模型和查询性能间的相互作用关系。我们会帮您深入了

本文目录
    介绍

    靠数据驱动的应用服务和仪表台会对底层的数据存储的性能及规模提出较高的要求。在当今大数据下的时代,每个应用服务或仪表台都可能在一秒内发出几十甚至上百的查询, 一个设计糟糕的查询就可能摧毁整个用户体验。 本教程详尽阐述了Apache Druid中的数据模型和查询性能间的相互作用关系。我们会帮您深入了解查询请求是如何提交给 Druid 引擎以及 Druid 是如何响应的,并提供了集中优化查询性能的方法和技巧。

    首先,我们会讨论我们是如何思考查询性能的。我们的目标是讨论Apache Druid中的数据模型,不过同样重要的是我们要理解数据模型最终是为查询性能而服务的,不然我们还不如随心所欲地导入数据还不在乎导入的数据结构和模型,作为最终目的所有数据模型的讨论都是关于 Druid 查询性能的优化讨论。

    其次, 我们会讨论数据模型和查询性能之间的联系,以及它们是如何互相影响的。

    最后,我们将介绍如何使用四种最常用的数据模型优化技巧来达到所需要的查询性能:

    • 归并
    • 分区
    • 排序
    • 索引
    解锁 Druid 的高性能就在弹指之间

    已故伟大的卡尔·萨根(Carl Sagan) 告诉我们如果你想从头开始做一个苹果派,你需要先发明能容纳它的宇宙。类似的,如果想要做一个性能优良的数据类应用,你必须首先理解查询引擎和数据层级是如何协同工作的。

    用户所生成的查询请求,会被提交至查询服务器的Broker组件(1),就像下图顶部所展示的那样。自此,查询请求会进行扇出(Fan Out)(2),并分发给数据服务器(Data Server)。每个数据服务器负责处理与自身相关的查询部分(3),最终结果通过扇入(Fan In)传回Broker服务器。Broker组件会合并所有结果(5),然后再将它们返回给用户。

    仔细审视这个架构图能帮助我们理解数据模型是怎样影响查询性能。查询请求通过 Broker 运用了扇入和扇出的机制来提高查询效率生成结果。我们会从底部开始,先阐述扇出之后在各个数据服务器节点的查询流程。

    这张图被称为查询性能分层金字塔模型(Great Layered Pyramid of Query Performance),帮助我们理解一个查询请求是如何将数据从存储层返回到 Druid 引擎。底下两层是数据服务器 (Data Node) 的行为,上面两层是代表了 Broker 在查询服务器(Query Node)内的行为。扇入机制( Fan In) 发生于这两个部分之间,连接了数据服务器和位于查询服务器的 Broker组件。

    在第一讲中,您已经大致了解了查询的机制和分层的金字塔模型。

    在后面几讲里,我们会深入解析每个层级里具体的查询细节和性能优化注意事项。

    下一篇: Apache Druid 中的数据模型和查询性能 (第二部分:数据服务器查询处理流程)

    相关链接:

    • Imply 官方网站:https://imply.io/
    • Apache Druid 官方网站:https://druid.apache.org/
    • Apache Druid 社区用户群:https://www.druidforum.org/
    • Apache Druid Github:https://github.com/apache/druid
    • 快速上手:https://docs.imply.io/latest/quickstart/
    • 预约演示:https://go.imply.io/request-a-demo-mandarin

    Imply及Imply属Imply Data, Inc.在美国及/或其他国家均为所有商标。Apache Druid、Druid及Druid商标为Apache Software Foundation在美国及/或其他国家的注册商标或商标。文中所展示的所有其他商标皆为其各自所有者所拥有。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    4600年,胡夫金字塔靠什么抗震不倒
    4600年,胡夫金字塔靠什么抗震不倒

    吉萨高原的烈日照了四千多年,胡夫金字塔就这么静静站着,看着尼罗河水涨了又落。时间没对它客气,大地也没少给它脸色看——1847年一场估计6.8级的地震撼动整个埃及,1992年5.8级地震又让开罗的高楼摇摇晃晃。现代建筑倒的倒、裂的裂,可这座用600万吨石块垒起来的庞然大物,里里外外愣是没出大毛病。它是

    AO3官网镜像链接一键跳转-手机入口快速访问
    AO3官网镜像链接一键跳转-手机入口快速访问

    AO3官网可通过https://www.ao3cn.cc//直接访问,支持手机和桌面端,页面适配移动端,操作流畅,支持书签、收藏、订阅及作品导出等功能,内容涵盖全球同人创作,分类细致,互动性强。

    AO3中文版官网与使用指南
    AO3中文版官网与使用指南

    AO3中文版官网入口为https://www.ao3cn.cc//,进入后点击右上角“Preferences”选择“中文(简体)”并更新即可切换语言,支持免登录浏览海量原创作品,利用标签系统精准筛选内容,平台无广告干扰且开源透明;注册账号后可发布、收藏、点赞和评论作品,并通过高级搜索功能按字数、时间等条件查找资源,实现高效互动与创作共享。

    AO3主页入口及最新镜像链接合集
    AO3主页入口及最新镜像链接合集

    AO3官方主站入口为https://www.ao3cn.cc//,提供作品发布、隐私设置、个人书架、评论管理等功能;支持多语言与移动端浏览,具备高级搜索和标签评级系统;镜像站点如https://ao3.cubeart.club/和https://xiaozhan.icu/仅作临时备用,不可输入账号密码。

    AO3官网中文入口最新地址公布
    AO3官网中文入口最新地址公布

    AO3官网中文访问入口为https://www.ao3cn.cc/,用户可直接通过主流浏览器访问,支持多语言切换至中文界面,新用户需通过邀请注册,老用户可直接登录,平台汇聚全球同人小说、画作与视频,支持自主上传与标签分类,便于检索与收藏,建议使用官方链接避免镜像站,结合筛选功能与书签快捷访问提升体验。

    AO3中文入口及官方镜像链接
    AO3中文入口及官方镜像链接

    AO3网页版中文入口为https://www.ao3cn.cc/,用户可直接访问官网注册登录,切换中文界面后使用多维度标签筛选、下载作品、互动评论等功能,享受无广告、隐私安全的非盈利创作平台。

    LibreOffice怎么卸载干净?残留配置怎么清理
    LibreOffice怎么卸载干净?残留配置怎么清理

    卸载LibreOffice应先使用系统的应用管理或原安装渠道移除程序,再按需要处理用户配置。模板、个人词典、宏和恢复备份可能保存在配置目录中,清理前先备份;普通文档不属于程序残留,不要为了“卸载干净”一起删除。以下主流程适用于Windows和Debian、Ubuntu仓库版。

    WorkBuddy怎么下载?电脑端和手机端在哪里安装
    WorkBuddy怎么下载?电脑端和手机端在哪里安装

    WorkBuddy 下载方法:电脑端从官网 workbuddy.cn 点「立即下载」获取安装包(Windows 装 exe、Mac 按 M 系列/Intel 芯片选 ARM64/X64 的 dmg),Linux 与麒麟/UOS 在系统应用商店搜索安装;手机端 iOS 在 App Store、Android 在应用市场搜「WorkBuddy」。本文含官网下载页与安装向导真实截图。

    WorkBuddy怎么用版本历史?误删了怎么恢复
    WorkBuddy怎么用版本历史?误删了怎么恢复

    WorkBuddy 的版本历史通过对话回退实现:把鼠标悬停在你发送的消息上,点「回退」并确认,对话和受影响的产物会一起回到这条消息之前;产物还有独立的历史版本,误改可在「变更」视图核对、用「恢复」还原。误删文件优先去系统回收站/废纸篓找,误删任务可在「系统设置 → 数据管理」查看已归档任务。本文含5张真实界面截图与恢复顺序表。

    Yandex引擎入口2026最新登录方式
    Yandex引擎入口2026最新登录方式

    Yandex搜索引擎的官方登录入口是https://www.yondex.net/,该平台支持多语言界面切换、智能语言识别与音译转换,并提供个性化服务及高效检索技术,满足全球用户需求。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。