当前位置:

首页 > 系统应用 > 一种新的告警收敛方式“先知预警”,为您的系统健康护航|京东云技术团队

一种新的告警收敛方式“先知预警”,为您的系统健康护航|京东云技术团队

前言简介买基金,上京东基金交易系统是用户使用京东金融APP进行基金交易的核心支撑系统,每天有数十亿元的交易额。在大额的交易面前,系统的稳定性尤其重要,同时基金业务比较复杂,为保障每个地方的稳定,告警埋点很多,加上各种日终检查,看似很完美,实际却有了新的问题,因告警太多,日检滞后,而无法快速处理有效异

本文目录

    前言

    简介

    买基金,上京东

    基金交易系统是用户使用京东金融APP进行基金交易的核心支撑系统,每天有数十亿元的交易额。

    在大额的交易面前,系统的稳定性尤其重要,同时基金业务比较复杂,为保障每个地方的稳定,告警埋点很多,加上各种日终检查,看似很完美,实际却有了新的问题,因告警太多,日检滞后,而无法快速处理有效异常,导致对账延迟和引发客诉。

    结合日常处理经验,我们重新思考是否有好的方式,提前发现异常,改善此事,于是在基金交易系统中做了一件事情,有效的提高了系统的稳定性,以下为此事的主要效果

    工单数量:相对2022年1-6月的客诉总数(334)减少127个,对账时间:稳定在16点半前完成,异常订单:从每天几个变成偶发出现, 后续流程:比以往有了较强的稳定性, 同时也间接的释放了,因客诉异常引起的资源消耗(客服,产品,研发,工程师),提高了用户一定体验和满意度。

    什么事项

    为基金交易系统增加了新型的异常预警,能更加有效的提前发现系统异常,快速解决

    为什么做这个事情

    在基金交易中,每天有几十万的订单,交易额有数十亿,基金业务场景不仅又多、又复杂,而且链路也比较长,盘后的数据检查经常由于各种原因出现异常订单(运营配置错误,基金公司下发文件异常,系统bug等),而无法顺利对账,影响后续流程。排查定位和修复问题,需在2小时内完成,如果超过时长会对后续流程造成严重的影响,所以有效异常的提前发现和预警就非常重要

    基金交易系统异常告警无法满足吗?

    交易系统中现有2种告警,一种是即时告警,一个日终报警

    即时告警**,**由于老项目时间久,存在历史原因,每天会收到数千封即时告警邮件,想筛选出真正的有效异常,变得非常困难,还有一定的时效性。

    日终报警, 是在每日交易结束后,系统会自动进行日终检查,如果发现异常,需在2小时内解决,而且只能对已发生的结果进行修正,个别异常还好,如果出现批量异常,那么2小时就非常宝贵。短时间内的修复,不仅存在高压出错的风险,还可能因此对后续流程产生隐患,甚至对用户造成影响,引发客诉工单。异常工单的处理,是对客服、产品和工程师一种消耗,而且在微服务架构中排查和解决更加复杂耗时。总之每次对账出现异常,总是非常紧张。

    你做的预警有什么特点

    1、是即时告警和日终报警的补充

    2、可通过手机一个界面随时观察异常变化

    3、15分钟内即可发现疑异常订单

    4、可快速定位,精确到重要场景

    预警具体怎么做到呢?

    首先对账能否顺利,取决异常情况,而异常又无法彻底避免,提前发现与控制就非常重要

    如图,各种场景都可能出现异常

    制定异常发现和处理策略

    面对告警过滤困难,日终滞后, 结合历史处理经验,对系统进行再次思考,是否有更简单的方式,能有效的对异常进行实时发现预警?

    通过探讨,总结了一个简单的规律:

    如果关键点没按照指定时间内变更,即可定义为可疑异常 ,其严重级别可以通过汇总数量进行表示

    于是制定了如下策略

    制定监控预警技术方案

    首先,得依据自身业务来识别。基金交易对账呢,是对订单最终标记状态的校验。咱们假设一个支付订单,要是在15分钟内,订单状态没变化,那是否该设定为可疑异常?原因可能有很多,像网络问题、MQ消息延迟、代码BUG等等,总之就是有问题。而且这样的订单数量越多,代表受影响的订单就越多,对账风险也就越高。

    2:关键点的异常识别,可以采用同样的逻辑,如果在指定的时间内,关键点的状态没有发生变化,即可设定为可疑对象,比如基金交易的重要场景:申购,赎回,支付,非交易过户,退款等场景,都可以基于场景数据的状态变化或者MQ的积压情况进行识别,举个申购的例子:用户申购完成后,后续的流程是采用MQ和任务的方式执行,每个任务都有初始和完成状态,如果这个申购任务在15分钟内,没有标记为完成,即可定义为可疑异常,此类的状态的任务越多,影响对账的风险就越高

    落实技术方案

    实践中验证效果

    效果:刚上线时,仅对总订单和2个场景设置了预警。随着时间推移,逐渐增加到11个场景,效果显著。异常情况基本能在交易过程中提前被发现。要是操作出现失误,能提前通知相关方进行修正;倘若存在系统BUG,也能提前进行紧急修复,后续再推进根治和架构升级。虽然随着时间的发展,对账异常范围无法做到百分百覆盖,但容易出错的关键要点已经得到有效把控。近几个月,偶尔才会出现几单(由历史用户的存量异常订单导致),对账工作得到了切实有效的保障。

    经典案例,2023年春节期间,通过预警发现几个异常订单出现,通过排查,是因为基金公司下发可赎回时间为非交易时间引起,涉及16个TA,4000多条记录,假如没提前发现,节后可能会引发批量的异常订单和客诉,形成事故,通过发现处理,规避了发生。

    总结

    通过这个预警系统,我们能够提前发现并主动处理对账事后异常,其技术难度并不高, 更多的讲究的是一个方法。对此方法起了一个名字叫"先知预警",也希望此理论能对您的系统有所帮助。例如实战中,今年618的拉新活动渠道的监控,10分钟如果没产生订单就进行电话预警;基金停售提前3天邮件电话预警,都可以用此理论解释。

    先知预警:是一种基于时间序列分析和业务理解的预测方法,它通过分析历史数据和理解业务,预测未来可能出现的关键点和变化趋势,并及时进行预警和调整,以确保业务的稳定运行。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    京东红包今日 10:00 再加码,累计打卡 9 天限量抢 2 元红包
    京东红包今日 10:00 再加码,累计打卡 9 天限量抢 2 元红包

    京东618红包今日10时加码,累计完成9天打卡的用户可限量抢2元红包;若打卡不足9天,请在10点前补打完成仍可参与。红包数量有限先到先得,且可叠加使用,机会难得速来参与!

    10:00~10:15 速领不限量 1.18 元大红包:京东红包今日再加码
    10:00~10:15 速领不限量 1.18 元大红包:京东红包今日再加码

    京东红包今日十点至十点十五限时发放一点一八元红包,不限量,越早抢金额越大。京东六一八无门槛红包最高两万六千六百一十八元,每天抽三次;淘宝六一八无门槛红包最高两万六千八百八十八元,每天抽一次,两平台红包可叠加。

    紧急通知!倒计时1小时!京东淘宝618终极一站即将开战!!全年底价最后28小时,抄底攻略速看叠加625亿国补!错过直接再等一整年!
    紧急通知!倒计时1小时!京东淘宝618终极一站即将开战!!全年底价最后28小时,抄底攻略速看叠加625亿国补!错过直接再等一整年!

    618大促最后28小时开启,今晚8点京东淘宝同步引爆年度最大促销。双平台五重福利全额叠加,大件选京东、小件冲淘宝,国补满减红包齐发。6月18日24点所有福利永久关闭,价格回弹,错过再等一年。

    美团、淘宝闪购、京东外卖回应!
    美团、淘宝闪购、京东外卖回应!

    6月17日,市场总局发布《外卖平台补贴行为规范十条》征求意见稿。美团、京东外卖、淘宝闪购均表态坚决拥护,强调反内卷、维护公平竞争、保障骑手权益,推动行业高质量发展。

    10:00~10:15 速抢不限量 1.18 元大红包:京东红包今日再加码
    10:00~10:15 速抢不限量 1.18 元大红包:京东红包今日再加码

    京东官方红包今日上午十点至十点十五分限时加码活动,每位用户可领取1.18元无限量红包,可每日领取且能叠加使用,不限次数。与此同时,618无门槛红包最高面额26618元,每天有三次抽取机会,机会难得,不容错过,请把握。

    京东工业正式发布“中小微企业普惠计划”
    京东工业正式发布“中小微企业普惠计划”

    京东工业联合步科自动化等工控企业发布“中小微企业普惠计划”,以“百川计划”为核心,利用AI大模型将数万份产品手册转化为标准数据库,数据采集效率提升3至4倍,选型时间缩短70%,未来还将智能推荐传感器、控制器与驱动组合方案。

    刚刚!618战报公布,京东「静悄悄」地赢麻了
    刚刚!618战报公布,京东「静悄悄」地赢麻了

    618下单用户数创新高,京东通过深挖服务壁垒、做大3C家电品类优势及推动AI硬件等明日品类爆发实现高质量增长。家电送装一体服务增长120%,AI硬件成交额同比增200%,多品牌成交额超10亿元。

    财经聚焦|“618”折射哪些消费新变化
    财经聚焦|“618”折射哪些消费新变化

    今年“618”简化规则,聚焦AI赋能与体验消费。AI智能硬件成交额倍增,拼豆、户外运动等“爱己消费”崛起,文旅、健康服务取代传统囤货。AI深度参与大促全链条,数字人直播成常态。“反向海淘”吸引海外消费者,国潮品牌加速全球化。

    京东618笔记本战报:高端轻薄本成交同比增长100%
    京东618笔记本战报:高端轻薄本成交同比增长100%

    今年京东618大促期间,笔记本品类中高端轻薄本成交同比增长100%,以旧换新增长160%,高考人群成交额大涨161%,直播成交增长超10倍,均实现了大幅增长,再创佳绩。联想、华硕、机械革命分别占据品牌总销量榜前三。

    苹果官网和京东买有什么区别_苹果官方购买渠道对比说明
    苹果官网和京东买有什么区别_苹果官方购买渠道对比说明

    苹果官网与京东自营均售正品iPhone,但官网支持刻字、14天无理由退货及同步购买AppleCare+;京东价格常更优惠、物流更快,提供7天上门退货,但不支持激活后退货与定制。两者售后均由苹果授权服务商提供,选择时可结合价格、时效、定制与退货政策权衡。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。