当前位置:

首页 > 系统应用 > vivo全球商城:订单中心架构设计与实践

vivo全球商城:订单中心架构设计与实践

一、背景 随着用户量级的快速增长,vivo 官方商城 v1.0 的单体架构逐渐暴露出弊端:模块愈发臃肿、开发效率低下、性能出现瓶颈、系统维护困难。从2017年开始启动的 v2.0 架构升级,基于业务模块进行垂直的系统物理拆分,拆分出来业务线各司其职,提供服务化的能力,共同支撑主站业务。订单模块是电商

本文目录
    一、背景

    随着用户量级的快速增长,vivo 官方商城 v1.0 的单体架构逐渐暴露出弊端:模块愈发臃肿、开发效率低下、性能出现瓶颈、系统维护困难。

    从2017年开始启动的 v2.0 架构升级,基于业务模块进行垂直的系统物理拆分,拆分出来业务线各司其职,提供服务化的能力,共同支撑主站业务。

    订单模块是电商系统的交易核心,不断累积的数据即将达到单表存储瓶颈,系统难以支撑新品发布和大促活动期间的流量,服务化改造势在必行。

    本文将介绍 vivo 商城 订单系统建设的过程中遇到的问题和解决方案,分享架构设计经验。

    二、系统架构

    将订单模块从商城拆分出来,独立为订单系统,使用独立的数据库,为商城相关系统提供订单、支付、物流、售后等标准化服务。

    系统架构如下图所示:

    三、技术挑战

    3.1数据量和高并发问题

    首先面对的挑战来自存储系统:

    • 数据量问题

      随着历史订单不断累积,MySQL中订单表数据量已达千万级。

      我们知道InnoDB存储引擎的存储结构是B+树,查找时间复杂度是O(log n),因此当数据总量n变大时,检索速度必然会变慢, 不论如何加索引或者优化都无法解决,只能想办法减小单表数据量。

      数据量大的解决方案有:数据归档、分表

    • 高并发问题

      商城业务处于高速发展期,下单量屡创新高,业务复杂度也在提升,应用程序对MySQL的访问量越来越高。

      单机MySQL的处理能力是有限的,当压力过大时,所有请求的访问速度都会下降,甚至有可能使数据库宕机。

      并发量高的解决方案有:使用缓存、读写分离、分库

    下面对这些方案进行简单描述:

    • 数据归档

      订单数据具备时间属性,存在热尾效应,大部分情况下检索的都是最近的订单,而订单表里却存储了大量使用频率较低的老数据。

      那么就可以将新老数据分开存储,将历史订单移入另一张表中,并对代码中的查询模块做一些相应改动,便能有效解决数据量大的问题。

    • 使用缓存

      使用Redis作为MySQL的前置缓存,可以挡住大部分的查询请求,并降低响应时延。

      缓存对商品系统这类与用户关系不大的系统效果特别好,但对订单系统而言,每个用户的订单数据都不一样,缓存命中率不算高,效果不是太好。

    • 读写分离

      主库负责执行数据更新请求,然后将数据变更实时同步到所有从库,用多个从库来分担查询请求。

      但订单数据的更新操作较多,下单高峰时主库的压力依然没有得到解决。且存在主从同步延迟,正常情况下延迟非常小,不超过1ms,但也会导致在某一个时刻的主从数据不一致。

      那就需要对所有受影响的业务场景进行兼容处理,可能会做一些妥协,比如下单成功后先跳转到一个下单成功页,用户手动点击查看订单后才能看到这笔订单。

    • 分库

      分库又包含垂直分库和水平分库。

      ① 水平分库:把同一个表的数据按一定规则拆到不同的数据库中,每个库可以放在不同的服务器上。

      ② 垂直分库:按照业务将表进行分类,分布到不同的数据库上面,每个库可以放在不同的服务器上,它的核心理念是专库专用。

    • 分表

      分表又包含垂直分表和水平分表。

      ①水平分表:在同一个数据库内,把一个表的数据按一定规则拆到多个表中。

      ②垂直分表:将一个表按照字段分成多表,每个表存储其中一部分字段。

    我们综合考虑了改造成本、效果和对现有业务的影响,决定直接使用最后一招:分库分表

    3.2 分库分表技术选型

    分库分表的技术选型主要从这几个方向考虑:

    1. 客户端sdk开源方案

    2. 中间件proxy开源方案

    3. 公司中间件团队提供的自研框架

    4. 自己动手造轮子

    参考之前项目经验,并与公司中间件团队沟通后,采用了开源的Sharding-JDBC方案。现已更名为Sharding-Sphere。

    • Github:https://github.com/sharding-sphere/

    • 文档:官方文档比较粗糙,但是网上资料、源码解析、demo比较丰富

    • 社区:活跃

    • 特点:jar包方式提供,属于client端分片,支持xa事务

    3.2.1 分库分表策略

    结合业务特性,选取用户标识作为分片键,通过计算用户标识的哈希值再取模来得到用户订单数据的库表编号.
    假设共有n个库,每个库有m张表,

    则库表编号的计算方式为:

    - 库序号:Hash(userId) / m % n

    - 表序号:Hash(userId) % m

    路由过程如下图所示:

    3.2.2分库分表的局限性和应对方案

    分库分表解决了数据量和并发问题,但它会极大限制数据库的查询能力,有一些之前很简单的关联查询,在分库分表之后可能就没法实现了,那就需要单独对这些Sharding-JDBC不支持的SQL进行改写。

    除此之外,还遇到了这些挑战:

    (1)全局唯一ID设计

    分库分表后,数据库自增主键不再全局唯一,不能作为订单号来使用,但很多内部系统间的交互接口只有订单号,没有用户标识这个分片键,如何用订单号来找到对应的库表呢?

    原来,我们在生成订单号时,就将库表编号隐含在其中了。这样就能在没有用户标识的场景下,从订单号中获取库表编号。

    (2)历史订单号没有隐含库表信息

    用一张表单独存储历史订单号和用户标识的映射关系,随着时间推移,这些订单逐渐不在系统间交互,就慢慢不再被用到。

    (3)管理后台需要根据各种筛选条件,分页查询所有满足条件的订单

    将订单数据冗余存储在搜索引擎Elasticsearch中,仅用于后台查询。

    3.3 怎么做 MySQL 到 ES 的数据同步

    上面说到为了便于管理后台的查询,我们将订单数据冗余存储在Elasticsearch中,那么,如何在MySQL的订单数据变更后,同步到ES中呢?

    这里要考虑的是数据同步的时效性和一致性、对业务代码侵入小、不影响服务本身的性能等。

    • MQ方案

      ES更新服务作为消费者,接收订单变更MQ消息后对ES进行更新

    • Binlog方案

      ES更新服务借助canal等开源项目,把自己伪装成MySQL的从节点,接收Binlog并解析得到实时的数据变更信息,然后根据这个变更信息去更新ES。

    其中BinLog方案比较通用,但实现起来也较为复杂,我们最终选用的是MQ方案。

    因为ES数据只在管理后台使用,对数据可靠性和同步实时性的要求不是特别高。

    考虑到宕机和消息丢失等极端情况,在后台增加了按某些条件手动同步ES数据的功能来进行补偿。

    3.4 如何安全地更换数据库

    如何将数据从原来的单实例数据库迁移到新的数据库集群,也是一大技术挑战

    不但要确保数据的正确性,还要保证每执行一个步骤后,一旦出现问题,能快速地回滚到上一个步骤。

    我们考虑了停机迁移和不停机迁移的两种方案:

    (1)不停机迁移方案:

    • 把旧库的数据复制到新库中,上线一个同步程序,使用 Binlog等方案实时同步旧库数据到新库。

    • 上线双写订单新旧库服务,只读写旧库。

    • 开启双写,同时停止同步程序,开启对比补偿程序,确保新库数据和旧库一致。

    • 逐步将读请求切到新库上。

    • 读写都切换到新库上,对比补偿程序确保旧库数据和新库一致。

    • 下线旧库,下线订单双写功能,下线同步程序和对比补偿程序。

    (2)停机迁移方案:

    • 上线新订单系统,执行迁移程序将两个月之前的订单同步到新库,并对数据进行稽核。

    • 将商城V1应用停机,确保旧库数据不再变化。

    • 执行迁移程序,将第一步未迁移的订单同步到新库并进行稽核。

    • 上线商城V2应用,开始测试验证,如果失败则回退到商城V1应用(新订单系统有双写旧库的开关)。

    考虑到不停机方案的改造成本较高,而夜间停机方案的业务损失并不大,最终选用的是停机迁移方案。

    3.5 分布式事务问题

    电商的交易流程中,分布式事务是一个经典问题,比如:

    • 用户支付成功后,需要通知发货系统给用户发货。

    • 用户确认收货后,需要通知积分系统给用户发放购物奖励的积分。

    我们是如何保证微服务架构下数据的一致性呢?

    不同业务场景对数据一致性的要求不同,业界的主流方案中,用于解决强一致性的有两阶段提交(2PC)、三阶段提交(3PC),解决最终一致性的有TCC、本地消息、事务消息和最大努力通知等。

    这里不对上述方案进行详细的描述,介绍一下我们正在使用的本地消息表方案:在本地事务中将要执行的异步操作记录在消息表中,如果执行失败,可以通过定时任务来补偿。

    下图以订单完成后通知积分系统赠送积分为例。

    3.6 系统安全和稳定性

    • 网络隔离

      只有极少数第三方接口可通过外网访问,且都会验证签名,内部系统交互使用内网域名和RPC接口。

    • 并发锁

      任何订单更新操作之前,会通过数据库行级锁加以限制,防止出现并发更新。

    • 幂等性

      所有接口均具备幂等性,不用担心对方网络超时重试所造成的影响。

    • 熔断

      使用Hystrix组件,对外部系统的实时调用添加熔断保护,防止某个系统故障的影响扩大到整个分布式系统中。

    • 监控和告警

      通过配置日志平台的错误日志报警、调用链的服务分析告警,再加上公司各中间件和基础组件的监控告警功能,让我们能够能够第一时间发现系统异常。

    3.7 踩过的坑

    采用MQ消费的方式同步数据库的订单相关数据到ES中,遇到的写入数据不是订单最新数据问题

    下图左边是原方案:

    在消费订单数据同步的MQ时,如果线程A在先执行,查出数据,这时候订单数据被更新了,线程B开始执行同步操作,查出订单数据后先于线程A一步写入ES中,线程A执行写入时就会将线程B写入的数据覆盖,导致ES中的订单数据不是最新的。

    解决方案是在查询订单数据时加行锁,整个业务执行在事务中,执行完成后再执行下一个线程。

    sharding-jdbc 分组后排序分页查询出所有数据问题

    示例:select a from temp group by a,b order by a desc limit 1,10。

    执行是Sharding-jdbc里group by 和 order by 字段和顺序不一致是将10置为Integer.MAX_VALUE, 导致分页查询失效。

    io.shardingsphere.core.routing.router.sharding.ParsingSQLRouter#processLimit

    private void processLimit(final List parameters, final SelectStatement selectStatement, final boolean isSingleRouting) {
    boolean isNeedFetchAll = (!selectStatement.getGroupByItems().isEmpty() || !selectStatement.getAggregationSelectItems().isEmpty()) && !selectStatement.isSameGroupByAndOrderByItems();
    selectStatement.getLimit().processParameters(parameters, isNeedFetchAll, databaseType, isSingleRouting);
    }

    io.shardingsphere.core.parsing.parser.context.limit.Limit#processParameters

    /**
    * Fill parameters for rewrite limit.
    *
    * @param parameters parameters
    * @param isFetchAll is fetch all data or not
    * @param databaseType database type
    * @param isSingleRouting is single routing or not
    */
    public void processParameters(final List parameters, final boolean isFetchAll, final DatabaseType databaseType, final boolean isSingleRouting) {
    fill(parameters);
    rewrite(parameters, isFetchAll, databaseType, isSingleRouting);
    }


    private void rewrite(final List parameters, final boolean isFetchAll, final DatabaseType databaseType, final boolean isSingleRouting) {
    int rewriteOffset = 0;
    int rewriteRowCount;
    if (isFetchAll) {
    rewriteRowCount = Integer.MAX_VALUE;
    } else if (isNeedRewriteRowCount(databaseType) && !isSingleRouting) {
    rewriteRowCount = null == rowCount ? -1 : getOffsetValue() + rowCount.getValue();
    } else {
    rewriteRowCount = rowCount.getValue();
    }
    if (null != offset && offset.getIndex() > -1 && !isSingleRouting) {
    parameters.set(offset.getIndex(), rewriteOffset);
    }
    if (null != rowCount && rowCount.getIndex() > -1) {
    parameters.set(rowCount.getIndex(), rewriteRowCount);
    }
    }

    正确的写法应该是 select a from temp group by a desc ,b limit 1,10 ; 使用的版本是sharing-jdbc的3.1.1。

    在ES分页查询中,要是排序字段存在重复值,那最好添加一个唯一字段作为第二排序条件,以此防止分页查询时出现数据遗漏或重复的情况。举个例子,如果使用订单创建时间作为唯一排序条件,当同一时间存在大量数据时,就极有可能导致查询的订单出现遗漏或重复。所以,要么增加一个唯一值作为第二排序条件,要么直接将唯一值用作排序条件。

    四、成果
    • 一次性上线成功,稳定运行了一年多

    • 核心服务性能提升十倍以上

    • 系统解耦,迭代效率大幅提升

    • 能够支撑商城至少五年的高速发展

    五、结语

    我们在系统设计时并没有一味追求前沿技术和思想,面对问题时也不是直接采用主流电商的解决方案,而是根据业务实际状况来选取最合适的办法。

    个人觉得,一个好的系统不是在一开始就被大牛设计出来的,一定是随着业务的发展和演进逐渐被迭代出来的,持续预判业务发展方向,提前制定架构演进方案,简单来说就是:走到业务的前面去!

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用 vivo
    相关文章 更多
    vivo V80 曝光:10月发布,首推10倍人像变焦与蔡司夜景长焦
    vivo V80 曝光:10月发布,首推10倍人像变焦与蔡司夜景长焦

    据smartprix报道,vivo计划于10月第一周发布V80手机。核心亮点包括搭载5000万像素蔡司夜景长焦镜头,支持3倍光学变焦及V系列首次引入的10倍人像模式变焦。视频方面新增4K电影级功能,支持背景虚化及三种预设色彩风格。

    vivo浏览器网页视频无法播放怎么解决
    vivo浏览器网页视频无法播放怎么解决

    vivo浏览器仅稳定支持H.264编码加MP4格式,其他视频格式无法播放。可通过系统播放器接管、切换桌面版网站、添加html5参数、关闭硬件加速、清除缓存及调整网站权限等方法解决。若无效,建议使用官方应用。

    vivo浏览器打不开网页怎么办
    vivo浏览器打不开网页怎么办

    说几个vivo浏览器打不开网页的常见原因和解决方法:开启联网权限、校准系统时间、清除缓存与网站数据、关闭省流模式与广告过滤、添加自签名证书网站为信任站点。遇到这种情况,页面可能直接空白、卡在加载中、提示“网络连接失败”或弹出“安全证书过期”等错误。问题根源往往藏在系统时间偏差、网络权限被禁、缓存损坏

    vivo手机root权限怎么开启_vivo开启Root权限指南
    vivo手机root权限怎么开启_vivo开启Root权限指南

    vivo手机获取Root权限有三种主流方法:电脑端使用KingRoot等一键工具,手机端使用Root大师等应用,或通过解锁Bootloader并刷入Magisk实现高级root。操作前需备份数据并开启USB调试,不同机型方法略有差异。

    为什么vivo浏览器下载的APK安装包无法直接点击安装?
    为什么vivo浏览器下载的APK安装包无法直接点击安装?

    vivo浏览器下载的APK无法安装,实为系统默认拦截安装入口。需依次开启“安装未知应用”权限、关闭浏览器APK安装保护、暂时关闭“禁止安装恶意应用”选项,并清除下载记录与缓存,方可正常安装。

    vivo手机如何设置应用安装拦截中的高级安全保护
    vivo手机如何设置应用安装拦截中的高级安全保护

    用vivo手机的朋友,有没有遇到过这种情况:从浏览器或者微信里下载了一个APK文件,点击安装,结果系统直接弹出一个“应用存在风险”的提示,然后安装就被中断了?别慌,这其实是vivo手机的高级安全保护机制在起作用。它可不是一个简单的开关,而是一套融合了身份验证、恶意行为扫描和安装器级拦截的多层防护体系

    vivo Z5(6GB/64GB/全网通)忘了手机密码怎么办?
    vivo Z5(6GB/64GB/全网通)忘了手机密码怎么办?

    说起手机密码这事,真是让人又爱又恨。白天设了个复杂的锁屏密码,觉得安全得很,结果第二天一早睡眼惺忪地拿起手机,手指一划——咦?密码是什么来着?那种瞬间断片的感觉,恐怕不少人都体会过。尤其是vivo Z5(6GB+64GB全网通)这种性价比机型,用户基数大,遇到锁屏密码遗忘的求助也特别多。 别慌,密码

    vivo NEX(6GB RAM/全网通)忘了手机密码怎么办?
    vivo NEX(6GB RAM/全网通)忘了手机密码怎么办?

    手机每天不离手,结果锁屏密码忘得一干二净——这事儿听起来有点离谱,但其实真不算罕见。尤其晚上迷迷糊糊设了个新密码,第二天死活想不起来,那种焦虑,经历过的人都懂。好在这类问题有成熟的解决方案,而且不需要跑去维修店花冤枉钱。这里介绍两种实际可用的方法,一个简单粗暴,一个能保资料,按需选择就行。 方法一:

    vivo X20Plus(全网通)忘了手机密码怎么办?
    vivo X20Plus(全网通)忘了手机密码怎么办?

    手机锁屏密码忘了,这事儿说大不大,但真碰上还是挺让人头疼的。尤其是那些晚上刚设了新密码,早上起来就大脑一片空白的粗心朋友,估计不在少数。今天我们就来聊聊vivo X20Plus(全网通)遇上这种窘境时,到底有哪些靠谱的解决办法。掌握了这两招,至少心里能踏实不少。 第一种方法:双wipe(硬启) 简单

    vivo X21i(4GB RAM/全网通)忘了手机密码怎么办?
    vivo X21i(4GB RAM/全网通)忘了手机密码怎么办?

    手机如今几乎成了身体的一部分,但总有那么些时候,头天晚上信心满满地设了个新密码,第二天一早睡眼惺忪地就怎么也想不起来——这个场景,相信不少人都经历过。别着急,今天就来聊聊vivo X21i(4GB RAM全网通)忘记锁屏密码之后,到底有哪两种靠谱的解决方法。vivo X21i(4GB RAM全网通)

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    为什么要购买正版软件?
    01 官方授权

    授权来源透明,订单与许可信息可随时查询。

    02 即时交付

    付款成功后自动发放激活信息,支持订单追踪。

    03 中文协助

    安装、激活、迁移与续费问题都有专人响应。

    04 长期可用

    提供升级提醒与授权管理,换机时也能轻松迁移。

    网站备案号:苏ICP备2026018738号-1 联系邮箱:bd@zhengruan.com 网站地图

    Copyright ©2018-2026