当前位置:

首页 > 系统应用 > pika集群水平扩展——让性能容量不再受限

pika集群水平扩展——让性能容量不再受限

背景Pika是一款可持久化的大容量redis存储服务,它在string、hash、list、zset、set等方面,与redis绝大部分接口兼容(兼容详情可查看相关文档)。它能解决redis因存储数据量巨大而面临的内存不足这一容量瓶颈问题。用户迁移到pika服务时,无需对代码做任何修改。其兼容性和稳

本文目录

    背景

    Pika是一款可持久化的大容量redis存储服务,它在string、hash、list、zset、set等方面,与redis绝大部分接口兼容(兼容详情可查看相关文档)。它能解决redis因存储数据量巨大而面临的内存不足这一容量瓶颈问题。用户迁移到pika服务时,无需对代码做任何修改。其兼容性和稳定性都很不错,360公司内部使用的实例数超过3000,github社区上也有超过3.8K的star。由于单机pika的容量受限于单块硬盘的大小,随着360公司业务和社区的发展,对分布式pika集群的需求日益强烈。为此,我们推出了原生分布式pika集群,并发布了pika版本v3.4。相较于pika+codis集群方案,codis对pika创建和管理slot操作的支持不太理想,需要运维人员投入大量精力。而pika原生集群则无需额外部署codis-proxy模块,使用起来更加便捷。

    集群部署结构

    以3个pika节点的集群为例,集群部署结构如上图所示:

    1. 部署Etcd集群作为pika manager的元信息存储。
    2. 3台物理机上分别部署pika manager,并配置好Etcd的服务端口。Pika manager会向etcd注册,并争抢成为leader。集群中有且只有一个pika manager能够成为leader并向etcd中写入集群数据。
    3. 3台物理机上分别部署pika节点,然后把pika节点的信息添加到pika manager中。
    4. 为了负载均衡,把pika的服务端口注册到LVS中。

    数据分布

    为了对数据按照业务进行隔离,Pika集群引入table的概念,不同的业务数据存储在不同的table中。业务数据按照key的hash值存储到对应的slot上面。每一个slot会有多个副本,从而形成一个replication group。replication group中的所有slot副本具有相同的slot ID,其中一个slot副本是leader,其他副本为follower。为了保证数据的一致性,只有leader提供读写服务。可以使用pika manager对slot进行调度迁移,使数据和读写压力均匀的分散到整个pika集群中,从而保证了整个集群资源的充分利用并且可以根据业务压力和存储容量的需要进行水平扩容和缩容。

    pika使用rocksdb作为存储引擎,每个slot会创建对应的rocksdb。pika中的每个slot都支持读写redis 5种数据结构。因此数据迁移的时候会特别方便,只需迁移pika中的slot即可。但同时也存在资源占用过多的问题。目前的pika在创建slot的时候会默认创建5个rocksdb,分别来存储5种数据结构。在table中含有大量slot或者创建大量table的时候会使单个pika节点含有多个slot,进而创建过多的rocksdb实例,占用了过多系统资源。在后续版本中一方面会支持创建slot的时候根据业务需要创建一种或多种数据结构,另一方面会持续对pika中的blackwidow接口层进行优化,减少对rocksdb的使用。

    数据处理

    1. 当pika节点接收到用户请求时,解析层处理解析redis协议,并把解析好的结果交给router层进行判断。
    2. router根据key的hash结果找到key对应的slot,并判断slot是否在本地节点上。
    3. 如果key所在的slot在其他节点,则根据请求创建一个task放入队列中,并把请求转发给peer节点来处理。当task接收到请求的处理结果后把请求返回给客户端。
    4. 如果key所在的slot属于本地节点,就直接本地处理请求并返回给客户端。
    5. 对于需要本地处理的写请求,先通过replication manager模块写binlog,异步复制到其他slot副本。process layer根据一致性的要求,写入leader slot。其中blackwidow是对rocksdb的接口封装。

    我们把proxy内嵌的pika中,不需要单独部署。与redis cluster相比,客户端不需要感知proxy的存在,只需像使用单机一样使用集群。可以把pika节点的服务端口挂载到LVS中,实现压力在整个集群的负载均衡。

    日志复制

    在Pika中,日志的主从同步工作是由replication manager模块来承担的。为了能够与redis兼容,Pika对非一致日志复制提供了支持,这意味着leader slot可以直接在db中写入数据,而无需等待follower slot的ack应答。同时,Pika也支持raft一致性协议方式的日志复制,不过在这种情况下,需要收到大多数副本的ack后才会将数据写入db。

    非一致日志复制

    在非一致场景下处理流程如下:

    1. 处理线程接收到客户端的请求,直接加锁后写入binlog和并操作db。
    2. 处理线程返回客户端response。
    3. 辅助线程发送BinlogSync同步请求给follower slot,同步日志。
    4. follower slot返回BinlogSyncAck报告同步情况。
    一致性日志复制

    在一致性日志复制场景下:

    1. 处理线程把客户端请求写入binlog文件
    2. 通过发送BinlogSync请求向从库同步
    3. 从库返回BinlogSyncAck报告同步状况
    4. 检查从库应答满足大多数后将相应的请求写入db
    5. 将response返回客户端

    集群元数据处理

    我们在codis-dashboard的基础上二次开发了pika manager(简称PM),作为整个集群的全局控制节点,用来部署和调度管理集群。PM里保存了整个集群的元数据及路由信息。

    • 增加了集群创建多表的功能,方便业务根据表的不同来实现业务数据隔离。
    • 支持创建表时指定slot数目和副本数目,方便运维根据业务的规模和故障容忍度创建table。
    • 从逻辑上把group的概念改为replication group,使得原来的进程级别的数据和日志复制转变为slot级别的复制。
    • 支持创建table时创建密码来隔离业务的使用。客户端只需要执行auth和select语句就可以认证并对指定的table进行操作。
    • 支持slot迁移,方便根据业务需求进行扩容和缩容。
    • 集成哨兵模块,PM会不断的向集群中的pika节点发送心跳,监测存活状态。当PM发现leader slot down时,会自动提升binlog偏移最大的sla ve slot为leader。
    • 存储后端支持元数据写入etcd,保证元数据的高可用。
    • pika manager通过不断向etcd争抢锁来成为leader,来实现pika manager的高可用。

    后记

    pika原生集群的推出解决了单机pika受限于磁盘容量的限制,可以按照业务的需求进行水平扩容。但仍然有一些缺陷,如基于raft的内部自动选主功能的缺失,基于range的数据分布,及监控信息的展板等功能。后续版本我们会一一解决这些问题。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    悟空浏览器怎么彻底清理浏览器配置文件
    悟空浏览器怎么彻底清理浏览器配置文件

    彻底清理悟空浏览器的数据,通常有三个路径:通过手机系统设置能一次性清除所有配置和用户信息;利用浏览器内置功能,可以只清理缓存而保留个性化设置;最彻底的则是卸载重装,让应用回到初始状态。 悟空浏览器用久了,是不是偶尔会感觉变慢,或者出现一些难以解释的小毛病?有时候,与其一个个排查问题,不如来一次彻底的

    漫蛙漫画官网首页登录入口
    漫蛙漫画官网首页登录入口

    漫蛙漫画首页登录入口https://www.manwamh.top/:一触即达的漫画世界核心枢纽 对于漫画迷而言,找到那个可靠的资源门户至关重要。漫蛙漫画的首页登录入口,正是这样一个核心渠道。通过它,你可以直接跳转到漫蛙2漫画APP的下载页面,轻松几步完成安装,马上就能投入到精彩纷呈的漫画之旅中。 漫蛙漫画首页登录入口: 官方入口地址已经为你备好

    漫蛙漫画官方入口
    漫蛙漫画官方入口

    漫蛙漫画官方入口与核心功能解析 寻找一个稳定、资源丰富的漫画在线阅读平台,是许多漫画爱好者的共同需求。其中,漫蛙漫画官方入口及其免费全集服务,受到了不少关注。那么,这个平台究竟如何?下面,我们就来深入了解一下它的具体信息与特色功能。 平台的官方访问地址是:https://www.manwa123.c

    漫蛙动漫APP最新版本下载
    漫蛙动漫APP最新版本下载

    对于动漫爱好者而言,找到一个资源全、体验佳的追番平台,常常是件头疼事。漫蛙动漫APP的定位很明确:就是要打造一个聚合全球正版动漫资源的专属乐园。无论是当季火爆的日漫新番、值得回味的经典国创,还是那些小众却精彩的优质动画,在这里基本都能一网打尽。平台底层采用了智能缓冲技术,最大程度保证了播放的流畅度,

    漫蛙官网入口免费下载最新版
    漫蛙官网入口免费下载最新版

    想要获取正版manwa漫蛙APP?官方指定下载渠道就是漫蛙官网入口。 对于漫画迷而言,找到一款心仪的阅读神器至关重要。漫蛙APP正是这样一款专为全球漫画爱好者打造的平台,它汇聚了从日韩人气连载到本土原创精品的海量资源。说它“应有尽有”毫不为过。更重要的是,其界面设计清爽直观,搭配智能检索功能,能让用

    漫蛙漫画在线观看入口
    漫蛙漫画在线观看入口

    想要畅享海量正版漫画资源?漫蛙漫画平台不容错过 对于漫画迷来说,找到一个资源丰富、体验流畅的正版平台实属幸事。漫蛙漫画凭借其优质的在线阅读服务,已经成为了许多资深读者的心头好。今天,我们就来详细拆解一下平台的访问方法与实用技巧,助你轻松开启漫画之旅。 漫蛙漫画网页入口页面指南 想立刻体验?官方在线观

    漫蛙如何下载最新版本
    漫蛙如何下载最新版本

    漫蛙漫画网APP官方下载方法全解析 对于资深漫画迷来说,找到一个资源全、更新快、体验佳的阅读平台,就像淘到了宝藏。漫蛙漫画网APP,正是这样一个专为爱好者打造的精品集散地。它汇聚了全球优质的正版漫画,从火爆的日漫连载到崛起的国创佳作,平台都能做到实时同步更新。当然,第一步得先把它装到设备上。接下来,

    漫蛙漫画APP最新版本下载
    漫蛙漫画APP最新版本下载

    漫蛙漫画APP:专业漫画阅读工具的全面革新 作为一款专业的漫画阅读工具,漫蛙漫画APP整合了全球优质漫画资源,其升级版漫蛙2在功能与体验上可谓全面革新。这款应用不仅囊括日漫经典与国漫新作,更通过简洁直观的界面设计和流畅操作,为用户打造沉浸式阅读环境,充分满足各类漫画爱好者的多样化需求。 漫蛙漫画特色

    卖茶叶妈妈3d漫蛙安卓版下载
    卖茶叶妈妈3d漫蛙安卓版下载

    当下动漫圈热议的卖茶叶妈妈3d漫蛙下载,凭借其突破性的3D视觉技术成为焦点 最近动漫爱好者们都在讨论一个现象级产品——卖茶叶妈妈3d漫蛙下载。这款由漫蛙漫画平台倾力打造的3D作品专区,用立体建模与动态分镜彻底颠覆了传统二维漫画的阅读模式。你猜怎么着?现在只需通过专区提供的便捷下载通道,无论是热血冒险

    漫蛙下载最新版本
    漫蛙下载最新版本

    漫蛙APP:资深漫画迷的移动图书馆与阅读利器 对于漫画爱好者来说,找到一个资源全、体验好的阅读平台,从来都不是件容易的事。而漫蛙APP,恰恰就是为这个需求而生的。它凭借海量的正版漫画库和极其便捷的离线下载功能,在圈内积累了相当不错的口碑。更重要的是,从经典的日本热血漫到新兴的国产原创作品,它几乎一网

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。