龙蜥系统运维联盟: 探究Kindling-OriginX如何整合DeepFlow的数据增强网络故障排除技术
编者按：2023年，龙蜥社区正式成立系统运维联盟，该联盟由信通院、阿里云、中兴通讯、复旦大学、清华大学、浙江大学、云观秋毫、乘云数字、云杉网络、浪潮信息、统信软件及联通软件院等12家单位共同发起。本文转自云观秋毫，介绍系统运维联盟成员Kindling-OriginX通过结合DeepFlow完备的网络数据能力，自动化生成可解释的故障根因报告。DeepFlow是一个开源项目，利用eBPF技术为复杂的云基础设施和云原生应用提供高度可观测性。通过eBPF技术，DeepFlow收集精细的链路追踪数据、网络和应用性能
编者按：2023年，龙蜥社区正式成立系统运维联盟，该联盟由信通院、阿里云、中兴通讯、复旦大学、清华大学、浙江大学、云观秋毫、乘云数字、云杉网络、浪潮信息、统信软件及联通软件院等 12 家单位共同发起。本文转自云观秋毫，介绍系统运维联盟成员 Kindling-OriginX 通过结合 DeepFlow 完备的网络数据能力，自动化生成可解释的故障根因报告。
DeepFlow是一个开源项目，利用eBPF技术为复杂的云基础设施和云原生应用提供高度可观测性。通过eBPF技术，DeepFlow收集精细的链路追踪数据、网络和应用性能指标，具有全链路覆盖和丰富的TCP性能指标。这些功能为专业用户和网络专家提供了强大的故障诊断和问题定位支持。
Kindling-OriginX 是一款故障根因推导产品，目标是提供给用户一个可解释的故障根因报告，让用户能够直接了解故障根因，并附有根因的推理过程以便验证根因的准确性。网络故障是故障当中比较难以简单解释的，仅仅告知用户哪段网络有问题是不够的，用户需要更多指标以及图解，才能帮助用户更好的理解网络到底发生了什么故障，以及发生在哪个环节。
本文介绍 Kindling-OriginX 通过结合 DeepFlow 完备的网络数据能力，自动化生成可解释的故障根因报告。
soma-chaos 模拟网络故障
-
针对 seat-service 注入 200ms 延时的网络模拟故障。
-
接下来我们先使用 DeepFlow 来识别 200ms 的网络故障，并做出相应的 action。
人工最简化排障过程
步骤一：利用 Trace 系统缩小范围
在微服务环境中，当某个接口出现性能问题时，首要步骤是利用追踪系统检查哪个环节导致了慢速度，并了解具体的表现情况。
使用Tracing系统，用户可以准确定位到具体的Trace。经过分析Trace后，发现seat-service的执行时间较长，同时出现了一次长时长的config-service调用。在此情况下，联动网络指标将有助于精确定位网络问题的根源。
步骤二：利用 DeepFlow 火焰图确定故障发生在哪段网络
将故障代表 traceid 的输入 DeepFlow 在火焰图中，找到 Trace 在网络层面上的表现，然后深入分析这个火焰图，如果对火焰图比较了解，同时有具备网络知识的专家经验，是能够根据火焰图人为分析出：这个故障应该是发生在调用者也就是 seat-service 上，而且问题是发生了 syscall 到网卡的时间段，也就是容器网络时段出了问题（和故障注入是吻合的）。
（图/DeepFlow网络火焰图）
步骤三：确定容器网络到底什么网络指标异常
根据故障排查经验，用户需要查看 seat-service 与 config-service 的 pod 的网络指标。这个时候用户需要跳转至 DeepFlow 的 Pod 级别的网络指标页面。通过该页面，用户能够查看出建连有 200ms 的延时突变以及 RTT 指标有突变。
（图/DeepFlow-pod级别监控指标）
（图/DeepFlow-pod级别监控指标）
步骤四：排除可能的干扰因素
根据经验，宿主机的 CPU 被打满和带宽被占满之时，虚拟网络也会出现丢包和时延，所以要排查当时 seat-service 与 config-service 所在 node 的 CPU 以及 node 级别的带宽，确保 Node 级别资源没有饱和。
通过 k8s 命令确认了两个 pod 所在的 node 节点，然后去 DeepFlow 的 node 指标监控页面查看相应指标，发现 node 的 bps、pps 等指标均在合理范围内。
（图/通过k8s命令查找pod所在的节点）
（图/DeepFlow-node级别监控指标（client））
（图/DeepFlow-node级别监控指标(server)）
由于node级别的网络指标没有出现明显异常，最终确定是seat-service的pod级别rtt指标异常。
人工排障总结
经过一系列的排查过程，最终用户是能够排查出故障的，但是对用户有以下要求：
-
网络知识非常丰富
-
深入理解网络火焰图
-
熟练使用相关工具
Kindling-OriginX 如何结合 DeepFlow 指标，生产可解释的故障报告
Kindling-OriginX 针对不同的用户需求和使用场景，Kindling-OriginX 对 DeepFlow 的数据进行了加工呈现。
类比人工最简化排障过程，利用 Kindling-OriginX 的排障过程如下：
自动化分析每一条Trace
针对此时的故障，自动化分析每条 Trace，并按照故障节点对所列的 Trace 进行归集。Travel-service 是由于级联故障导致的，本文不重点论述级联故障，如果有兴趣可以参考微服务级联故障该如何处理。
Review 故障节点为 seat-service 的故障根报告
故障根因结论：
对于子请求10.244.1.254:50332->10.244.5.79:15679 rtt 指标出现 200ms 左右的延时。
故障的推理验证
由于 Kindling-OriginX 已经识别出是 seat-service 调用 config-service 的网络有问题，所以不用完全把 DeepFlow 的火焰图所有数据呈现给用户，只需要与 DeepFlow 对接，仅仅拿到 seat-service 调用 config-service 那段网络调用的相关数据即可。
利用 DeepFlow 的seat-service 调用 config-service 数据自动分析出了客户端 pod 的容器网络出现了 201ms 的延时。
Kindling-OriginX 会模拟专家分析经验，进一步关联 DeepFlow 的重传指标与RTT指标，从而确定到底是什么原因导致了 seat-service 调用 config-service 出现了延时的现象。
Kindling-OriginX 还会集成node的CPU利用率以及带宽指标，排除干扰因素。
Kindling-OriginX 将整个故障推理都在一页报告中完成，并且每个数据来源都是可信可查的。
总结
Kindling-OriginX 与 DeepFlow 都使用了 eBPF 技术，立求在不同的场景中为不同需求的用户提供灵活高效解决方案，也期待未来能看到国内有更多能力互补产品的出现。
DeepFlow 能提供非常完备的全链路网络基础数据，能够让云原生应用具有深度可观测性，对于排查网络问题非常有用。
Kindling-OriginX 是利用 eBPF 采集排障北极星指标、AI 算法和专家经验构建故障推理引擎，给用户提供可解释的根因报告。
—— 完 ——
本文指导After Effects新手完成从打开软件到制作简单动画的完整流程。内容涵盖新建合成、导入素材、添加关键帧及预览验证，适用于AE基础学习。读者可依据步骤快速完成首个可播放的动效项目。
本文详解电影剪辑核心流程，从素材整理、镜头空间组织到叙事节奏压缩，再到J-cut/L-cut声音衔接技巧。通过粗剪保逻辑、精剪压停顿、反应镜头缓冲及电平统一检查，帮助创作者打造空间清晰、情绪连贯且听感自然的成片。
本文详解硬切、遮挡转场和运镜转场的适用场景与操作逻辑。通过对比三种转场的核心区别，提供基于素材条件和叙事目的的判断标准，帮助剪辑师避免滥用特效，掌握自然衔接画面的实战技巧。
本文指导GitLab新手完成创建项目并推送第一次提交的最小闭环。涵盖远程项目创建、本地仓库初始化、添加远程地址及执行git push。重点说明HTTPS与SSH认证差异、分支名（master/main）核对及提交验证标准，确保远程仓库真正建立。
本教程针对抖音竖屏视频制作，涵盖拍摄前构思、稳定运镜、粗剪筛选、音乐卡点及导出检查全流程。重点在于拍摄时预留字幕空间、利用动作节点辅助剪辑，以及通过鼓点对齐画面。适用于新手快速完成第一条完整成片，强调素材质量与节奏自然，避免过度特效与版权风险。
针对饭圈舞台照光线乱、噪点多、背景抢眼的痛点，本文提供“保脸、控光、突出主体”的修图方案。核心步骤包括：利用Lightroom降噪面板处理高ISO颗粒，控制曝光避免高光死白或脸部死黑；通过压低背景色彩、提升人物亮度与对比度来修正舞台灯光导致的肤色偏差；最后通过裁剪去除杂乱元素，确保人物主体清晰且肤色自然。
本文提供Photoshop完整安装指南，涵盖Windows/macOS系统要求、Creative Cloud客户端部署及常见启动故障排查。通过安装前磁盘与账号检查、安装中网络监控、安装后功能测试三步法，解决安装中断、登录失败及启动卡顿问题，确保软件稳定可用。
本文提供创维电视通过U盘安装第三方APK的完整操作指南。核心步骤包括：准备格式化的U盘与正规APK文件，在酷开系统“应用管理”中找到安装入口，临时开启“允许安装未知来源应用”权限，以及安装后的功能测试与权限关闭。适用于解决电视无法识别U盘、提示解析失败或权限受限等问题，确保安装安全且不影响系统稳定。
本教程演示如何在Excel中筛选大于指定数值的数据。核心步骤包括：确保数据连续、选中表头、通过“开始→排序和筛选”开启筛选，并在“数字筛选”中选择“大于”输入阈值。筛选仅隐藏不符合条件的行，不删除数据。完成后需逐行验证可见数据是否均大于阈值，并可通过取消筛选恢复全部数据。
本教程指导Creo初学者完成首个拉伸实体建模。通过新建零件、选择mmns_part_solid模板、定义草绘平面及绘制封闭轮廓，生成三维实体。内容涵盖操作路径、参数设置及常见错误排查，帮助新手建立正确的建模逻辑与单位概念。
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
