当前位置:

首页 > 系统应用 > 实践教程丨如何在边缘基础设施上运行故障预测解决方案?

实践教程丨如何在边缘基础设施上运行故障预测解决方案?

作者简介Janakiram MSV不仅是Janakiram & Associates的首席分析师,还是国际信息技术学院的兼职教师。他还是Google Qualified Developer、亚马逊认证解决方案架构师、亚马逊认证开发者、亚马逊认证SysOps管理员以及微软认证Azure专业人员。Jan

本文目录

    作者简介

    Janakiram MSV不仅是Janakiram & Associates的首席分析师,还是国际信息技术学院的兼职教师。他还是Google Qualified Developer、亚马逊认证解决方案架构师、亚马逊认证开发者、亚马逊认证SysOps管理员以及微软认证Azure专业人员。


    Janakiram是云原生计算基金会(CNCF)的大使,也是首批Kubernetes认证管理员和Kubernetes认证应用开发者之一。他曾在微软、AWS、Gigaom Research等知名公司工作。


    在之前的文章中,我讨论了Rancher的轻量级Kubernetes发行版K3s、Calico和Portworx如何成为运行在边缘的现代AI和物联网系统的基础。在本文中我们将设计和部署一个解决方案以运行在这一基础设施上。

    我们将基于监控涡轮机的风扇的假设场景来构建一个预测性维护解决方案,以检测风扇的异常情况。该架构利用了各种开源的云原生技术,可以作为设计和构建IoT/边缘解决方案的参考架构。


    问题陈述


    我们将设计和部署一个解决方案,该解决方案可以从多个风扇摄取遥测数据,并在故障发生之前使用实时流(real-time stream)来预测故障。该解决方案运行在低端机器(如英特尔NUC)的边缘基础设施上。在本文中,我们将使用前文搭建的基础设施(基于K3s、Calico以及Portwox),它们提供了Kubernetes集群的核心组件。

    解决方案架构


    连接到风扇的传感器提供了当前的转速、振动、温度和噪音水平等数据。这些遥测数据流和每个风扇的设备ID一起作为预测性维护解决方案的输入。



    Mosquitto是一款使用广泛的开源MQTT broker,它将作为传感器的网关以及平台的集中式消息broker。传感器将遥测数据摄入Mosquitto broker的fan/messages类别下方。

    以下是每个风扇发布到MQTT主题的有效载荷:


    预测器微服务和风扇发布的数据在同一个遥测频道,它会从中读取数据。对于每个入站数据点,它都会调用异常检测服务,并将结果发布到一个单独的MQTT主题中,即fan/anomaly。

    import timeimport requestsimport randomimport datetimeimport jsonimport osimport paho.mqtt.client as mqtt broker_address = os.getenv('MQTT_HOST')dev_topic = os.getenv('MQTT_DEV_TOPIC')pred_topic = os.getenv('MQTT_PREDICT_TOPIC')scoring_url=os.getenv('SCORING_URL')d={} client = mqtt.Client("pdm")client.connect(broker_address) def on_message(mosq, obj, msg):    rotation=json.loads(msg.payload)["rotation"]    temperature=json.loads(msg.payload)["temperature"]    vibration=json.loads(msg.payload)["vibration"]    sound=json.loads(msg.payload)["sound"]    telemetry=[rotation,temperature,vibration,sound]    data={"params":telemetry}        response = requests.post(scoring_url, json=data)    fault=json.loads(response.text)["fault"]     d["deviceID"]=json.loads(msg.payload)["deviceID"]    d["fault"]=fault     payload = json.dumps(d, ensure_ascii=False)    print(payload)    client.publish(pred_topic,payload)    def on_subscribe(mosq, obj, mid, granted_qos):    print("Subscribed: " + str(mid) + " " + str(granted_qos)) client.on_message = on_messageclient.on_subscribe = on_subscribeclient.connect(broker_address)client.subscribe(dev_topic, 0) while True:    client.loop()

    SCORING_URL是异常检测推理服务的一个端点。通过Flask网络服务暴露了一个在TensorFlow中训练的深度学习模型。

    下面是预测服务发布到MQTT主题的有效载荷:


    训练异常检测模型


    用一个超过20000个数据点的历史数据集来训练异常检测模型。



    从数据集中观察到,在故障发生前的几个小时,风扇的转速会降低并伴随着振动、声音、温度值的增加。

    转速数据的散点图直观地显示了这一点。风扇的转速从正常的平均600转下降到400转。


    基于此,我们可以轻松地训练一个简单的TensorFlow逻辑回归模型来预测故障风扇。我们先去掉时间戳和设备ID列。

    dataframe = pandas.read_csv("../data/fan.csv", header=None,skiprows=1)del dataframe[0]del dataframe[1]

    分离特征和标签后,再将数据集分为训练数据和测试数据。

    dataset = dataframe.valuesX = dataset[:,0:4].astype(float)y = dataset[:,4]X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33)

    然后我们创建一个4层神经网络,做逻辑回归。

    model = Sequential()model.add(Dense(60, input_dim=4, activation='relu'))model.add(Dense(30, activation='relu'))model.add(Dense(10, activation='relu'))model.add(Dense(1, activation='sigmoid'))model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])model.fit(X_train, y_train, epochs=250, batch_size=32, verbose=0)

    最后,该模型被保存和评估。

    model.save("../model")loss, acc = model.evaluate(X_test, y_test, verbose=0)print('Test Accuracy: %.3f' % acc)

    保存到磁盘上的TensorFlow模型被推理服务加载,然后对预测器微服务发送的数据进行预测。

    时间序列数据和可视化


    InfluxDB的实例通过Telegraf与Mosquitto连接。这种配置为我们提供了一个优雅的机制,可以在不写代码的情况下将时间序列数据摄入InfluxDB。

    下面是连接Mosquitto和InfluxDB的Telegraf配置:

      [agent]      interval = "10s"      round_interval = true      metric_batch_size = 1000      metric_buffer_limit = 10000      collection_jitter = "0s"      flush_jitter = "0s"      debug = false      quiet = false      hostname = ""      omit_hostname = true     [[outputs.influxdb]]       urls = ["http://influxdb:8086"]      database = "fan"      retention_policy = "autogen"      precision = "s"      timeout = "5s"     [[outputs.file]]    files = ["stdout"]    data_format = "influx"     [[inputs.mqtt_consumer]]      servers = ["tcp://mosquitto:1883"]      qos = 0       topics = [        "fan/#"      ]       insecure_skip_verify = true      client_id = ""      data_format = "json"      name_override = "fan"      tag_keys = ["deviceID"]      json_string_fields = ["rotation","temperature","vibration","sound","fault"]

    现在可以从InfluxDB查询时间序列数据。



    最后,我们将Grafana仪表盘连接到InfluxDB,为我们的AIoT解决方案构建一个直观的可视化面板。



    在本教程的下一部分,我将讨论部署架构以及基于K3s、Calico和Portworx的存储和网络。保持关注哟!



    推荐阅读

    1款开源工具,实现自动化升级K3S集群!

    K3s+Sysdig,8分钟部署并保护集群安全!

    领跑开源创新,K3s入选InfoQ 2020 年度十大开源新锐项目



    About k3s


    k3s 是首个进入 CNCF 沙箱项目的 K8S 发行版,同时也是当前全球用户量最大的 CNCF 认证轻量级 K8S 发行版。自2019年3月发布以来,备受全球开发者们关注,至今GitHub Star数已超过 14,700,成为了开源社区最受欢迎的边缘计算 K8S 解决方案。截至目前,K3s全球下载量超过100万次,每周平均被安装超过2万次,其中30%的下载量来自中国。


    k3s主要是为了在资源受限的环境中运行Kubernetes而专门设计的,适合研发和运维人员使用。它能够满足在边缘计算环境中,运行于x86、ARM64和ARMv7处理器上的小型、易管理Kubernetes集群不断增长的需求。随着k3s的发布,开发者们拥有了以“Rancher 2.X + k3s”为核心的,从数据中心到云、边、端的K8S即服务(Kubernetes-as-a-Service),有力地推动了Kubernetes的广泛应用,真正实现了Kubernetes Everywhere。

    扫码添加k3s中文社区助手

    加入官方中文技术社区

    官网:https://k3s.io

    :你填了吗?2020年CNCF中国云原生问卷

    问卷链接(https://www.wjx.cn/jq/97146486.aspx)

    扫描二维码联系我们!


    CNCF (Cloud Native Computing Foundation)成立于2015年12月,隶属于Linux Foundation,是非营利性组织。

    CNCF(云原生计算基金会)致力于培育和维护一个厂商中立的开源生态系统,来推广云原生技术。我们通过将最前沿的模式民主化,让这些创新为大众所用。请长按以下二维码进行关注。

    本文分享自微信公众号 - CNCF(lf_cncf)。
    如有侵权,请联系 support@oschina.cn 删除。
    本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    千寻位置发布潜龙时空服务器升级版,加速时空基础设施出海
    千寻位置发布潜龙时空服务器升级版,加速时空基础设施出海

    千寻位置发布潜龙时空服务器升级版iStationPro,实现全栈自研与一体化设计,降低站点建设运维成本,应用覆盖智慧城市、交通、能源等领域。基于全球超万座组网经验,已服务国内及欧美市场,月调用量突破1.2万亿次。

    聚焦AI基础设施市场新机遇 算力能源产业链再添布局支点丨新经济观察
    聚焦AI基础设施市场新机遇 算力能源产业链再添布局支点丨新经济观察

    康迪科技战略投资的信储新能源获施耐德电气2026年度解决方案经销商授权,覆盖UPS、制冷等产品,面向数据中心及通信基站。此举补齐了康迪在人工智能数据中心备用电源与储能领域上游硬件供应链的关键一环。AI算力需求爆发驱动智能算力高速扩容,能源保障能力成为行业核心竞争力。

    基于Kubernetes和OpenKruise的可变基础设施实践
    基于Kubernetes和OpenKruise的可变基础设施实践

    1. 对于可变基础设施的思考1.1 kubernetes中的可变与不可变基础设施在云原生逐渐盛行的现在,不可变基础设施的理念已经逐渐深入人心。不可变基础设施最早是由Chad Fowler于2013年提出的,其核心思想为任何基础设施的实例一旦创建之后变成为只读状态,如需要修改和升级,则使用新的实例进行

    AI赛道新变局!不再是成本项,网安已成核心AI基础设施丨投资秘籍
    AI赛道新变局!不再是成本项,网安已成核心AI基础设施丨投资秘籍

    网络安全已从成本项升级为AI核心基础设施,受益于AI攻击倒逼需求、三大主线(算力防护、AI智能体管控、平台化订阅)驱动及多重政策加持,行业景气度持续走高,2026年国内市场规模有望逼近3000亿元。

    企业级全栈 AI 基础设施在上海发布
    企业级全栈 AI 基础设施在上海发布

    星流科技发布企业级全栈AI基础设施战略,推出玄矩AgentNativeServerA1与SerpMindEnterpriseAgentOS。前者针对Agent场景优化,性价比提升45%-55%;后者实现多Agent统一运行与治理。同时发布医疗、政务等行业解决方案,推动企业AI规模化应用。

    CMake 在 IDE 与 CI/CD 中持续扩大基础设施角色
    CMake 在 IDE 与 CI/CD 中持续扩大基础设施角色

    CMake作为跨平台构建系统生成工具,在IDE中通过File-BasedAPI和Presets实现代码补全与调试支持,成为编辑器理解C++项目的桥梁;在CI/CD中串联配置、构建、测试、安装和打包流程,借助CTest、CPack及Presets规范交付流水线。团队需固定版本、校验下载包、跟踪策略变化,并像管理源代码一样对待CMake配置文件。

    美国7月ISM制造业PMI创逾四年新高!就业指数重返扩张区间 AI基础设施建设推动半导体需求持续升温
    美国7月ISM制造业PMI创逾四年新高!就业指数重返扩张区间 AI基础设施建设推动半导体需求持续升温

    美国7月ISM制造业PMI升至55.6%,创逾四年新高,连续第七个月扩张。就业指数重返扩张区间,新订单与生产指数显著增长。AI基础设施建设推动半导体需求持续升温,客户库存偏低预示补库需求,但价格压力仍存。

    Go 在 AI 基础设施领域崛起:从 Ollama 到 vLLM Gateway 全面开花
    Go 在 AI 基础设施领域崛起:从 Ollama 到 vLLM Gateway 全面开花

    Go语言凭借高并发与云原生优势,在AI基础设施领域崛起。Ollama、vLLMGateway、LangChainGo等项目分别主导本地模型运行、推理调度与Agent应用,Kubernetes生态的GPU调度器等组件也以Go实现。Go与C++/Rust/Python形成互补,未来在推理工程化中的地位将持续上升。

    打造开放式AI基础设施生态,AMD将在韩国设立AI研究中心
    打造开放式AI基础设施生态,AMD将在韩国设立AI研究中心

    7月27日,财闻海外资讯传来一则重磅消息:AMD(AMD.O)将在韩国建设人工智能研究中心,同时着手打造一个开放式的AI基础设施生态系统。韩国科学技术信息通信部在同一天宣布,已于23日在旧金山与AMD正式签署了关于AI芯片生态系统合作的谅解备忘录。 AMD计划在韩国设立一个AI卓越中心,这个中心将承

    曦智科技沈亦晨:算力逼近物理极限,光将驱动AI基础设施变革
    曦智科技沈亦晨:算力逼近物理极限,光将驱动AI基础设施变革

    人工智能算力逼近物理极限,光互连、光交换与光计算正驱动基础设施变革。光互连进入计算互连时代,CPO成终极形态;光交换领域需填补国内空白;光计算处于产品突破期,有望在低延迟推理等场景率先应用。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。