当前位置:

首页 > 系统应用 > 5G革命:如何让「数据」实现最大性能?

5G革命:如何让「数据」实现最大性能?

壹早在2000年代中期,H-Store第一次在M.I.T.被我们提出来,VoltDB是H-Store的商业化产品,它表示结构相似的数据会被连续存放到一起。在本文的后续描述中,我们将使用V-H来缩写。 V-H的设计(始于2004年)强调了在每秒可观的低延迟(以毫秒为单位)的情况下,以每秒大规模事务(T

本文目录

    壹

    早在2000年代中期,H-Store第一次在M.I.T.被我们提出来,VoltDB是H-Store的商业化产品,它表示结构相似的数据会被连续存放到一起。在本文的后续描述中,我们将使用V-H来缩写。
    V-H的设计(始于2004年)强调了在每秒可观的低延迟(以毫秒为单位)的情况下,以每秒大规模事务(TPS)的方式实现最大性能。 这样做的理由是,随着更快的辅助存储(例如SSD和NVRAM)的出现,基于磁盘的DBMS的性能将会提高。
    综上,必须设计基于RAM的DBMS,这样相对于传统的DBMS系统而言,才具有明显的性能优势。

    贰

    V-H采用了3个关键的技术聚焦点:

    2.1 聚焦单分区事务性

    多节点主内存DBMS必须跨各个节点对数据进行分区。多节点事务不可避免地涉及负载很大的分布式并发控制协议。正如在[Harding]所描述,分布式并发控制大大降低了操作执行速度。如果事务之间存在重大资源等待,吞吐量也会大大降低。为了避免这种开销,V-H专注于优化所谓的单分区事务。
    在这种情况下,应用程序设计人员应组织其数据,以便几乎所有事务都不会跨越多个节点上的数据。许多应用程序自然是“单个部分”,例如更新单个用户的余额,并检查其授权电话呼叫权限。换句话说,将用户帐户划分为多个节点将使上述交易仅跨越一个分区。另一方面,将资金从一个帐户转移到另一个帐户通常不能成为单一分区,因为通常无法将两个帐户都聚集在一个分区中。
    总而言之,许多应用程序可以做成单个分区,而有些则不能。另外,几个非常大的应用程序都坚持认为所有事务都是单个分区的。因此,他们禁止将多分区事务作为应用程序体系结构的最佳实践,以使性能最大化。
    V-H选择针对“单分区”事务进行优化,使其可以达到很高的运行性能。
    尽管V-H也可以执行“多分区”事务,但它们的性能并不高。我们应该在主要是单个分区的场景中使用VoltDB。

    2.2 聚焦在存储过程

    大多数OLTP用例主要包含重复性事务,因此,有一些大批量交易类型。因为执行单个事务需要服务器与客户端中的多次通信,所以使用ODBC / JDBC执行这些操作不是最佳选择。
    NoSQL中单次访问接口的应用程序,其中值被一对一地检索到客户端处理,也会有类似的通信开销,这不仅会导致多次客户端-服务器通信开销,而且还会导致对网络带宽使用造成不必要的压力。相反,如果使用存储过程接口,在这种情况下,事务执行代码(Ja va和SQL的混合)被移入DBMS,可以仅用一条通信消息执行它。1980年代中期Sybase引入存储过程时,相比到ODBC / JDBC接口数据访问,大约有5倍的性能优势。
    因此,V-H使存储过程接口以获得更高的运行性能。

    2.3 聚焦在主动-主动数据复制

    基本上所有OLTP应用程序都需要高可用性(HA)。这要求每个对象被复制多次,并且崩溃时要求系统故障转移到备份。在正常处理期间,V-H必须确保处理所有副本都执行相关事务,或都不处理任何事务。只有这样,V-H才会实现“故障转移”而不会导致数据损坏。
    执行副本更新有两种可行的策略:

    2.3.1 主动-主动复制

    即:事务在所有副本上执行,并在所有节点上本地提交。
    在这种情况下,所有副本都是“活动的”,并且每个具有副本的站点都将进行事务处理。
    例如,AT&T将让东海岸和西海岸的客户与最近的集群进行对话,并在后台进行主动复制同步。

    2.3.2 主动-被动复制

    即将一个副本指定为主副本,并首先在其中执行每个事务。日志记录写入此节点,然后通过网络移至备份节点。
    在每个备份中,日志都会前滚以使辅助数据库与主数据库同步。

    叁

    鉴于有两种可行的策略,应选择哪一种?
    几年前,[Malvaiya]在VoltDB中实现了单副本崩溃恢复。他比较了两种策略:
    1.在恢复时编写命令日志并重新运行命令
    2.写入数据日志,并在恢复时将日志前滚。
    他发现命令日志在执行期间的开销可以忽略不计,因此比数据记录方法快得多。[Yu]将此代码扩展到了复制,并实现了主动-主动和主动-被动复制。他发现主动-主动是性能优胜者,几乎是两倍。
    所以VoltDB专注于主动-主动复制,这需要V-H偶然使用的确定性的并发控制策略。相反,大多数V-H竞争对手使用不确定的并发控制策略(例如,动态锁定,乐观并发控制,多版本并发控制)。因此,主动-主动不是这些系统的选择,它们也没有两倍速度优势。
    总体而言,这三个决策使V-H可以比其他主要内存DBMS在事务处理上甚至可以快到一个数量级。在基准([Somagani],[Acme])测试中,V-H在合理大小的群集上每秒运行1M事务。到目前为止,这比我们所知道的任何客户工作负载都要快。因此,V-H竞争者可以按订单运行这些工作负载,但是需要投入更多的硬件成本。

    肆

    不过伴随5G应用的兴起,这种竞争格局将发生巨大变化。
    5G有望提供更高的带宽,更高的密度(每平方千米最多一百万个设备)和毫秒级延迟。设备的这种密度迫使新的无线接入网(RAN)小区技术避免饱和现有网络。反过来,这将成倍增加数据库TPS的数量,以便:
    更新网络中每个设备的状态更改信息

    对每个新设备通信都执行实时身份验证和授权策略此外,网络切片是5G要求,一部分网络专用于每个用例,例如:工业物联网,视频,VR等。每种情况都需要即时决策,以实现负载平衡和服务质量保证,以增加用户数量(人员+物联网设备)。

    为了让大家更清楚地看到对更高TPS的需求,咱们来设想一个典型的无线运营商场景:一个规模中等的运营商,可能会支持1000万部电话;规模更大的,可能会有1.5亿部。典型的无线运营商,拥有大量事务交易型的应用程序。这里举几个例子:
    计费和收费:现在的网络计费是以6秒为一个增量,也就是每分钟10次。要是普通电话的占空比是10%,那小型网络每分钟就会有600万个计费事件,相当于每秒100,000个。对于大型网络来说,这个数字会高得多。随着时间推移,物联网设备的数量预计至少会翻两番。如此一来,计费将会成为一个TPS非常高的应用程序,而且在毫秒级的延迟下,一致性要求也不能降低。
    新服务:在5G时代,物联网设备预计会不断开启新服务。这其中包括医疗警报应用程序,当人跌倒时能连接到紧急救援人员。还能动态地旋转地理围栏子网,以应对足球场中订户高度集中时的连接高峰。智能计量可以实现个性化的客户体验和沟通,促进对电网消耗、能源需求的分析,并且符合新的法规要求。在风能和太阳能农场,5G还能对IOT传感器进行连续监控和预测性维护。

    伍

    总而言之,由于5G的特性,让很多应用的事务性操作需求飞速增长。
    另外,大多数无线应用程序(例如计费)是单分区事务,可以充分发挥VoltDB的架构设计优势。对于这类应用程序,即便是中等大小的无线运营商,也必须每秒支持数百万个事务。大多数内存DBMS并不能支持这种数量的事务。

    VoltDB是一个例外,我们一些准测试也显示了架构理念上的领先性。如果您是KTPS应用程序(每秒数千个事务),那么有很多解决方案。但如果您期待MTPS(每秒数百万个事务),请尝试一下VoltDB。

    参考引用
    [Harding] http://www.vldb.org/pvldb/vol10/p553-harding.pdf
    [Malvaiya] http://hstore.cs.brown.edu/papers/voltdb-recovery.pdf
    [Yu] http://www.cs.cmu.edu/~pa vlo/blog/2013/12/fall-2013-research.html
    [Somagani] https://www.voltdb.com/blog/2018/11/06/benchmarking-voltdb-on-the-cloud/
    [Acme] https://www.voltdb.com/blog/2015/11/17/comparing-cloud-performance-ycsb/

    如果您对VoltDB的工业物联网大数据低延迟方案、全生命周期的实时数据平台管理等感兴趣,欢迎私信,进入到我们的官方交流群。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    悟空浏览器怎么彻底清理浏览器配置文件
    悟空浏览器怎么彻底清理浏览器配置文件

    彻底清理悟空浏览器的数据,通常有三个路径:通过手机系统设置能一次性清除所有配置和用户信息;利用浏览器内置功能,可以只清理缓存而保留个性化设置;最彻底的则是卸载重装,让应用回到初始状态。 悟空浏览器用久了,是不是偶尔会感觉变慢,或者出现一些难以解释的小毛病?有时候,与其一个个排查问题,不如来一次彻底的

    漫蛙漫画官网首页登录入口
    漫蛙漫画官网首页登录入口

    漫蛙漫画首页登录入口https://www.manwamh.top/:一触即达的漫画世界核心枢纽 对于漫画迷而言,找到那个可靠的资源门户至关重要。漫蛙漫画的首页登录入口,正是这样一个核心渠道。通过它,你可以直接跳转到漫蛙2漫画APP的下载页面,轻松几步完成安装,马上就能投入到精彩纷呈的漫画之旅中。 漫蛙漫画首页登录入口: 官方入口地址已经为你备好

    漫蛙漫画官方入口
    漫蛙漫画官方入口

    漫蛙漫画官方入口与核心功能解析 寻找一个稳定、资源丰富的漫画在线阅读平台,是许多漫画爱好者的共同需求。其中,漫蛙漫画官方入口及其免费全集服务,受到了不少关注。那么,这个平台究竟如何?下面,我们就来深入了解一下它的具体信息与特色功能。 平台的官方访问地址是:https://www.manwa123.c

    漫蛙动漫APP最新版本下载
    漫蛙动漫APP最新版本下载

    对于动漫爱好者而言,找到一个资源全、体验佳的追番平台,常常是件头疼事。漫蛙动漫APP的定位很明确:就是要打造一个聚合全球正版动漫资源的专属乐园。无论是当季火爆的日漫新番、值得回味的经典国创,还是那些小众却精彩的优质动画,在这里基本都能一网打尽。平台底层采用了智能缓冲技术,最大程度保证了播放的流畅度,

    漫蛙官网入口免费下载最新版
    漫蛙官网入口免费下载最新版

    想要获取正版manwa漫蛙APP?官方指定下载渠道就是漫蛙官网入口。 对于漫画迷而言,找到一款心仪的阅读神器至关重要。漫蛙APP正是这样一款专为全球漫画爱好者打造的平台,它汇聚了从日韩人气连载到本土原创精品的海量资源。说它“应有尽有”毫不为过。更重要的是,其界面设计清爽直观,搭配智能检索功能,能让用

    漫蛙漫画在线观看入口
    漫蛙漫画在线观看入口

    想要畅享海量正版漫画资源?漫蛙漫画平台不容错过 对于漫画迷来说,找到一个资源丰富、体验流畅的正版平台实属幸事。漫蛙漫画凭借其优质的在线阅读服务,已经成为了许多资深读者的心头好。今天,我们就来详细拆解一下平台的访问方法与实用技巧,助你轻松开启漫画之旅。 漫蛙漫画网页入口页面指南 想立刻体验?官方在线观

    漫蛙如何下载最新版本
    漫蛙如何下载最新版本

    漫蛙漫画网APP官方下载方法全解析 对于资深漫画迷来说,找到一个资源全、更新快、体验佳的阅读平台,就像淘到了宝藏。漫蛙漫画网APP,正是这样一个专为爱好者打造的精品集散地。它汇聚了全球优质的正版漫画,从火爆的日漫连载到崛起的国创佳作,平台都能做到实时同步更新。当然,第一步得先把它装到设备上。接下来,

    漫蛙漫画APP最新版本下载
    漫蛙漫画APP最新版本下载

    漫蛙漫画APP:专业漫画阅读工具的全面革新 作为一款专业的漫画阅读工具,漫蛙漫画APP整合了全球优质漫画资源,其升级版漫蛙2在功能与体验上可谓全面革新。这款应用不仅囊括日漫经典与国漫新作,更通过简洁直观的界面设计和流畅操作,为用户打造沉浸式阅读环境,充分满足各类漫画爱好者的多样化需求。 漫蛙漫画特色

    卖茶叶妈妈3d漫蛙安卓版下载
    卖茶叶妈妈3d漫蛙安卓版下载

    当下动漫圈热议的卖茶叶妈妈3d漫蛙下载,凭借其突破性的3D视觉技术成为焦点 最近动漫爱好者们都在讨论一个现象级产品——卖茶叶妈妈3d漫蛙下载。这款由漫蛙漫画平台倾力打造的3D作品专区,用立体建模与动态分镜彻底颠覆了传统二维漫画的阅读模式。你猜怎么着?现在只需通过专区提供的便捷下载通道,无论是热血冒险

    漫蛙下载最新版本
    漫蛙下载最新版本

    漫蛙APP:资深漫画迷的移动图书馆与阅读利器 对于漫画爱好者来说,找到一个资源全、体验好的阅读平台,从来都不是件容易的事。而漫蛙APP,恰恰就是为这个需求而生的。它凭借海量的正版漫画库和极其便捷的离线下载功能,在圈内积累了相当不错的口碑。更重要的是,从经典的日本热血漫到新兴的国产原创作品,它几乎一网

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。