当前位置:

首页 > 系统应用 > 你可能并不懂ApachePulsar的消息存储模型

你可能并不懂ApachePulsar的消息存储模型

导读Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。作者介绍冉小龙腾讯云微服务产

本文目录

    导读

    Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。



    作者介绍


    冉小龙


    腾讯云微服务产品中心研发工程师
    ApachePulsarCommitter

    ApacheBookKeeperContributor



    背景


    Apache Pulsar 系列第一篇文章为读者们详细解释了 Pulsar 的消息保留和过期策略,本文是系列第二篇,主要从 Pulsar 设计的原理以及在 BookKeeper 中如何存储做一个梳理。


    在社区中,我们经常可以看到用户有关 Backlog,storage size 和 retention 等策略的困惑,比较常见的一些问题,诸如:

    • 我没有设置 Retention 策略,为什么通过 topics stats 可以查看到 storage size 远大于 backlog size?
    • 我的 msg backlog size 很小,但是 storage size 确一直在增长?
    • …



    Pulsar 的消息模型


    首先,我们先来看一下 Pulsar 的消息模型



    如上图所示,Pulsar 提供了最基本的 pub-sub 的处理模型。


    Producer


    首先 Producer 端生产消息,将消息以 append 的形式追加到 Topic 中,这里具体分发到哪一个 Topic 中,根据消息是否设置了 msg key 会有所不同。


    • 设置了 msg key,消息会基于 key 做 hash,将消息分发到不同的 partitions 中
    • 未设置 msg key,消息会以 round robin 的形式,分发到不同的 partitions 中


    在消息分发的模型中,Pulsar 与 Kafka 类似。


    Consumer


    在 Consumer 之外,Pulsar 抽象了一层订阅层,用于订阅 Topic。通过订阅层的抽象,Pulsar 可以灵活的支持 Queue 和 Streaming 这两种类型的消息队列。每一个 sub 都可以拿到这个 Topic 中所有数据的完整 copy,有点类似 Kafka 中的 consumer group。根据订阅类型的不同,每一个订阅下面可以有一个或者多个 Consumer 来接收消息。


    目前,Pulsar 支持如下四种消息订阅模型:


    • Exclusive
    • Failover
    • Shared
    • Key_Shared



    存储模型


    消息在每个 Partition Topic 的分布式日志中只存储一次


    这就意味着,当 Producer 成功发送消息到 Topic 之后,这个消息只会在存储层存储一次,无论你有多少个 Subscription 订阅到这个 Topic 中,实际上操作的都是同一份数据。基于这个基础,我们可以看到 Apache Pulsar 从上到下的层级抽象概念如下图所示:



    首先第一层抽象是 Topic(Partition),用来存储 Producer 追加的 messages 信息,Topic 之下对应的是一个个的 ledger,ledger 里面又划分为一个个的分片,在一个个的分片中存储了更小粒度的 ertries,entries 中存储的是 【一条】或者 【一个 batch】 的消息。

    • Tips: 在 Pulsar 中,一个 batch 在 broker 端会被当作一条消息来处理,batch 解析的具体逻辑是在 consumer 端接收消息时候去操作的。
    • Node: 在 Bookkeeper 中,对数据操作的最小单元是按照 segment 这个粒度来进行操作的。


    为什么需要做分层抽象呢?

    在这里最直白的解释其实就是,为了确保数据被在每一个 bk 节点中打的足够散,分布的足够均匀。这也是分层分片架构设计的好处之一。

    Ack 机制

    在 Pulsar 中支持了两种 Ack 的机制,分别是单条 Ack 和批量 Ack。单条 Ack(AckIndividual)是指 Consumer 可以根据消息的 messageID 来针对某一个特定的消息进行 Ack 操作;批量 Ack(AckCumulative)是指一次 Ack 多条消息。

    订阅机制

    为了更好的理解 Strorage Size 以及 Backlog, 我们首先需要去了解 Pulsar 中的订阅机制,如下图所示:



    当有消息积压时,你可以通过 clear-backlog 来清除积压的消息。清除 backlog 中积压的消息是相对危险的操作,所以系统会提示你,是否确认要删除 backlog 中的消息, clear-backlog 提供了-f(--force) 的参数来屏蔽该提示。


    Producer 还是按照追加的形式不断往 Topic 中发送消息,Consumer 端会创建一个 Subscription 去订阅这个 Topic,当成功订阅时,会初始化一个 Cursor 指向具体的消息的位置,默认情况下是 Latest。


    Cursor 是用来存储一个订阅中消费的状态信息


    上图中,我们可以看到该订阅下面的 Topic 已经成功 Receive 并且 Ack 掉了 m4 这条消息。那么包含 m4 在内的所有的消息状态都会被标记为可删除的状态。在 Pulsar 中,使用 MarkDeletePosition 来标记这个位置。之后的所有消息,代表这个订阅还没有消费的消息。


    随着时间的推移,假设在 AckCumulative 的场景下,上述订阅中的 Consumer 又消费了一些消息,目前 Cursor 的位置移动到了 m8 的位置,意味着 m8 之前的消息都可以进入删除状态。



    假设是在 AckIndividual 的场景下,上述订阅中的 Consumer 只消费了 m7 这条消息并且发送了 Ack 请求,m5, m6 这两条消息仍然没有被成功消费,那么目前处于可删除状态的消息是 m4 之前的消息和 m7 这条消息。也就是说,在这种场景下,由于使用单条 Ack 导致 Topic 中间出现了 Ack 的空洞。


    Cursor = Offset + IndevidualDeletes, Ack 会触发 Cursor 的移动,但是不会删除任何消息



    随着时间的推移,在单条 Ack 的场景下,Ack 的空洞可能会自己消失,如下图所示:



    上面我们描述了,单个订阅在单条 Ack 和批量 Ack 混合的场景下,Topic 中 cursor 的移动情况。假设目前有多个 Subscription 订阅了这个 Topic,那么每一个 Subscription 都可以拿到这个 Topic 中数据的完整 Copy,也就是一个 Subscription 会在这个 Topic 中初始化一个新的 Cursor, 每一个 Cursor 之间消费的进度是没有交集、互不影响的,所以就可能出现下图中的情况:



    在上图中,针对该 Topic,有两个订阅:Subscription-1 和 Subscription-2。Subscription-1中的 Consumer 消费掉了 m4 之前的消息,Subscription-2 中的 Consumer 消费掉了 m8 之前的消息。而 m4-m8 之间的这四条消息,虽然被 Subscription-2 消费完成,但是 Subscription-1 还没有消费完成这部分数据,所以这部分消息还不可以被删除。目前处于可删除状态的消息是 m4 之前的消息,即这个 Topic 中消费进度最慢的那个 Subscription 所消费完成的消息。那么这就会有一个问题,假设我目前 Subscription-1 掉线了,它的 Cursor 的位置一直没有变化,这就会导致这个 Topic 中的数据一直处于不可删除的状态。

    针对上述场景,Pulsar 引入了 TTL 的概念,即允许用户设置 TTL 的时间,当消息到达 TTL 指定的阈值 Cursor 仍然没有移动的话,那么会触发 TTL 的机制,将 Cursor 自动向后移到指定的位置。在这里需要注意的一点是,我们一直强调的是 TTL 会移动 Cursor 的位置,到目前为止,我们还没有提到消息删除的概念,不要将二者混淆了。TTL 会做的只是去移动 Cursor 的位置,不会有任何跟消息删除的逻辑。


    Backlog


    为了更好的表述 Topic 中没有被消费的数据,Pulsar 引入了 Backlog 的概念来描述这一部分消息。Backlog 可以分为如下两种形式:

    • Topic Backlog: 最慢的那个订阅的 Backlog 的集合
    • Subscription Backlog: 指针对单个订阅级别的没有消费的数据的集合

    如下图所示:Backlog A 属于 Topic Backlog;Backlog A 属于 Subscription-1 Backlog;Backlog B 属于 Subscription-2 的 Backlog。



    随着时间的推移,Backlog 的会不断的变化,如下图所示:



    在这里需要说明的一点是,这里的 backlogSize 记录的是带 batch 的消息,也就是一个 batch 会被当作一条消息来进行处理。因为在 broker 端去解析整个 batch 会给 broker 带来一定的负担,同时浪费大量的 CPU 资源,所以,具体 batch 逻辑的解析放到了 Consumer 端来进行处理。所以 Backlog 本质上记录的是上面我们提到的 entries 的数量。


    在 Pulsar 中,针对 Backlog 有两个指标,具体如下:


    • msgBacklog: 记录的是所有未被 Ack 的 entries 的集合
    • backlogSize:记录的是所有没有被 Ack 的消息的大小


    Retention 机制


    在 Apache Pulsar 中,使用了 BookKeeper 来作为存储层,允许用户将消息持久化,为了确保消息不会无限期的持久化下去,Pulsar 引入了 Retention 的机制,允许用户来配置消息持久化的策略。默认情况下,持久化的机制是关闭的,即消息被 Ack 之后,就会进入删除的逻辑。


    配置 Retention 策略时,有如下两个参数可以指定:

    • size:指持久化大小的阈值。0 代表不配置 Retention 大小策略,-1 代表设置的大小无限大
    • time:指持久化时间的阈值。0 代表不配置 Retention 时间策略,-1 代表时间无限大

    引入Retention策略后,整个Topic所呈现的视图如下,m0 - m5代表已被所有订阅确认且超过Retention策略阈值的消息,这些消息正处于准备删除的状态。请注意,这里所说的“准备删除”,具体是否能够删除,目前尚无法确定。



    最初,我们从最上层的Topic逐步抽象到了一条具体的msg(为方便描述,这里忽略batch的概念,即一条msg等同于一个entry)。现在,我们反过来将所有概念叠加回去。由于在bk中,允许操作的最小单元是一个segment,所以在具体的msg(entry)级别,无法针对一条消息进行删除,删除操作需针对一个segment来执行,如下图所示:

    假设 m0-m3 属于 segment3;m4-m7 属于segment2;m8-m11 属于 segment1。按照上图的描述,m0-m5 的消息都可以进行删除操作, 但是 segment 2 中包含了 m6, m7 并没有达到 Retention 的阈值,所以 segment 目前还不可以被删除。


    Storage Size

    为了更方便的表述当前消息占用的存储空间的大小,Pulsar 引入了 storageSize 来描述整个概念。如下图所示:当 backlog B 与 storage Size 标识的消息相同时,backlogSize 等价于 storageSize。



    当由于引入单条 Ack,Retention 策略以及 Bookkeeper 基于 segment 删除的设定,那么很有可能造成 Storage Size 大于 backlog Size 的场景,如下图所示:




    总结


    1. 消息在每个 Partition Topic 的分布式日志中只会存储一次

    2. Cursor 是用来存储一个订阅下 Consumer 的消费状态的

    3. Cursor 等价于 offset(kafka)+ individualDeletes

    4. Ack 会去更新 Topic 中 Cursor 的位置

    5. 当某条消息被所有订阅者都 Ack 之后,这条消息进入【可以被删除】的状态

    6. 所有没有被确认的消息会一直保存在 Subscription backlog 中

    7. TTL 可以通过设定一个时间阈值来自动更新 Cursor 的位置

    8. Retention 策略是用来操作那些被 Ack 之后的消息应该怎么处理

    9. 消息的删除是以 segment 为单位的,而不是 entry。


    往期

    推荐


    《生存还是毁灭?一文带你看懂 Pulsar 的消息保留和过期策略》

    《一天,把 Pulsar 客户端的性能提升3倍+!》

    《超有料!万字详解腾讯微服务平台 TSF 的敏捷开发流程》




    扫描下方二维码关注本公众号,

    了解更多微服务、消息队列的相关信息!

    解锁超多鹅厂周边!


    戳原文,了解更多消息队列TDMQ的信息
    点亮在看,你最好看

    本文分享自微信公众号 - 腾讯云中间件(gh_6ea1bc2dd5fd)。
    如有侵权,请联系 support@oschina.cn 删除。
    本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    消息中间件存储模型雏形:利用队列实现异步变量分发
    消息中间件存储模型雏形:利用队列实现异步变量分发

    消息中间件存储模型雏形是利用队列作为“异步变量”中转站,将每次业务状态变更封装成结构化消息并持久化。下游服务各自订阅并异步消费,最终达成一致性。这种方式把强一致性变量读写转化为松耦合消息流转,避免服务间同步等待。

    醒图电脑版怎么安装?官方下载到首次打开完整步骤
    醒图电脑版怎么安装?官方下载到首次打开完整步骤

    官网下 Windows 安装包,双击选安装路径,装完用手机号或微信登录,进素材库拖入图片即可开工。打不开先查系统版本和运行库。

    醒图电脑版对系统有什么要求?Win10 和 Win11 安装注意点
    醒图电脑版对系统有什么要求?Win10 和 Win11 安装注意点

    需要 Win10 64 位及以上,内存 8G 起。Win10 可能要补运行库,Win11 会被 SmartScreen 拦一次,点更多信息仍要运行即可。

    如何取消QQ影音默认播放器设置
    如何取消QQ影音默认播放器设置

    先在 QQ 影音设置 → 系统设置里取消文件关联勾选,再到 Windows 默认应用里按文件类型逐个指定;Win11 要一种种改。

    漫蛙漫画弹幕怎么用?互动评论教程
    漫蛙漫画弹幕怎么用?互动评论教程

    开启漫蛙漫画弹幕需进入阅读界面,点击屏幕调出菜单并打开弹幕开关,发送评论前确保功能已开启,输入简短内容后发送即可参与互动;可通过设置调节密度、速度等避免干扰;结合底部评论区可全面参与讨论,文明发言享受趣味阅读体验。

    TapTap怎么关闭游戏推荐通知 减少弹窗设置
    TapTap怎么关闭游戏推荐通知 减少弹窗设置

    两处都要关:TapTap 设置里的消息通知关掉推荐与活动,手机系统设置里禁止 TapTap 通知;只关一处仍会弹。

    AO3官网镜像链接一键跳转-手机入口快速访问
    AO3官网镜像链接一键跳转-手机入口快速访问

    AO3官网可通过https://www.ao3cn.cc//直接访问,支持手机和桌面端,页面适配移动端,操作流畅,支持书签、收藏、订阅及作品导出等功能,内容涵盖全球同人创作,分类细致,互动性强。

    AO3中文版官网与使用指南
    AO3中文版官网与使用指南

    AO3中文版官网入口为https://www.ao3cn.cc//,进入后点击右上角“Preferences”选择“中文(简体)”并更新即可切换语言,支持免登录浏览海量原创作品,利用标签系统精准筛选内容,平台无广告干扰且开源透明;注册账号后可发布、收藏、点赞和评论作品,并通过高级搜索功能按字数、时间等条件查找资源,实现高效互动与创作共享。

    AO3主页入口及最新镜像链接合集
    AO3主页入口及最新镜像链接合集

    AO3官方主站入口为https://www.ao3cn.cc//,提供作品发布、隐私设置、个人书架、评论管理等功能;支持多语言与移动端浏览,具备高级搜索和标签评级系统;镜像站点如https://ao3.cubeart.club/和https://xiaozhan.icu/仅作临时备用,不可输入账号密码。

    AO3官网中文入口最新地址公布
    AO3官网中文入口最新地址公布

    AO3官网中文访问入口为https://www.ao3cn.cc/,用户可直接通过主流浏览器访问,支持多语言切换至中文界面,新用户需通过邀请注册,老用户可直接登录,平台汇聚全球同人小说、画作与视频,支持自主上传与标签分类,便于检索与收藏,建议使用官方链接避免镜像站,结合筛选功能与书签快捷访问提升体验。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。