当前位置:

首页 > 系统应用 > Kubernetes稳定性保障手册--日志专题

Kubernetes稳定性保障手册--日志专题

《Kubernetes 稳定性保障手册》系列文章:Kubernetes 稳定性保障手册 -- 极简版Kubernetes 稳定性保障手册 -- 日志专题(本文)不论对于软件的用户还是开发者,日志都是很重要的信息源。日志可以用来表征软件的运行状态,在软件运行不符合预期时提供丰富的信息,也可以用在开发阶

本文目录

    《Kubernetes 稳定性保障手册》系列文章:

    • Kubernetes 稳定性保障手册 -- 极简版

    • Kubernetes 稳定性保障手册 -- 日志专题(本文)

    不论对于软件的用户还是开发者,日志都是很重要的信息源。日志可以用来表征软件的运行状态,在软件运行不符合预期时提供丰富的信息,也可以用在开发阶段调试软件,方便定位问题。

    软件的生命周期涉及到 开发 和 运行 两个阶段,日志的生成是在软件的开发阶段,日志的使用集中在软件的运行阶段。在开发阶段规范化日志,有助于运行阶段通过标准化方法分析日志、配置日志监控和告警。在运行阶段通过标准化方法使用日志,有助于低成本把握程序的运行态行为,及时感知异常,促进开发阶段的迭代效率。

    在软件的生命周期中,运行阶段时长占比会远大于开发阶段,即对日志的使用时长会远大于开发阶段写日志逻辑的时长。在开发阶段应用良好的日志规范,会对软件生命周期的正常运行和快速迭代带来很大帮助:

    复杂度分析

    程序中的元素可以抽象为两部分:自身逻辑,依赖。两类元素之间的交互为:自身逻辑闭环,自身逻辑与依赖交互。

    从长期角度来看,交互环节出问题的概率会比自身逻辑出问题的概率高,因此要重点关注交互环节的日志逻辑。

    同时,对日志的管理需要意识到 _谁会使用这些日志,_通常有 4 类角色:

    • 用户
    • 维护者
    • 安全人员
    • 审计人员

    用户从黑盒角度使用软件,通过日志了解软件当前的运行状态,关注重点是软件正常的状态。

    维护者从白盒角度使用软件,开发角色通过日志调试软件,SRE 角色通过日志及时感知软件的异常状态,并通过日志上下文分析异常原因。

    安全人员通过分析日志,了解恶意登录、异常删除等风险。

    审计人员通过审计日志、应用日志,确认业务、架构的合规性。

    根据上述不同的使用场景,我们可以梳理出几类日志类别,进一步增强开发和运行阶段对日志的理解:

    开发阶段

    最佳实践

    理解了日志使用者关注的重点后,开发阶段写日志时,推荐使用如下最佳实践:

    • 使用 structured logs
      • 不使用 format strings
    • 使用 info 和 error 表征日志级别
      • info 又可细化为多个级别,0~10,信息的重要性依次降低 (也可以参考《Kubernetes: sig-instrumentation/logging.md》
        • 0:用户想要看到的信息
        • 1:维护者关注的白盒行为信息
        • 10: 维护者调试用的信息
    • 使用具有过滤器能力的 log lib,通过 logger 自动过滤敏感信息
      • 参见 《KEP: Kubernetes system components logs sanitization》
    • 日志通过 stdout/stderr 输出,关闭不必要的文本日志
      • 避免额外的磁盘占用、IO 消耗、日志清理任务的维护等

    对于 golang,可以考虑使用 klog 作为 logger 实现。

    FAQ

    为什么使用 structured logs?

    structured logs 是一种结构化的日志格式,结构如下,其中 msg 表征通用的事件,多对的 k=v 用来具化事件:

    msg k=v k=v ... k=v

    示例:

    "Pod status updated" pod="kube-system/kubedns" status="ready"

    对于开发阶段,structured logs 通过固化的结构和字段语义,协助开发者思考程序逻辑状态,有助于进一步控制程序复杂度和理解程序逻辑。

    对于运行阶段,structured logs 中的 k 天然具备索引的属性,便于进行查询和分析。也可以考虑将 msg 规范化,增加 事件 语义,通过限制 msg 语义来增强 msg 的作用。

    为什么不使用 debug/warning/critical/fatal?

    通过减少日志类型,降低使用和维护负担。

    debug 可以融入到 info 级别。

    warning/critical 对于用户和维护者都是模糊的词,对于要采取的行动通常不具备指导意义。warning/critical 和 error 类似,表征程序运行过程中间出现了预期外的现象,此时程序要么自动处理,要么交由外部人工介入判断。若由程序自动处理,那么用户和维护者感知到这类现象即可,info 可以满足。若需要交由外部人工介入,那么 error 就可以满足。对于问题的严重性,可放在运行阶段,通过异常具体的信息来表征,如 ServiceUna vailable、Unauthorized 等。

    fatal 是将 error 和 panic 两类逻辑封装了起来,在开发过程中可能会带来执行逻辑上的不清晰,如决定是否 panic 的逻辑需要放在最顶层逻辑中,若在顶层逻辑之下调用 fatal,可能会带来资源泄露、程序运行复杂度增加等问题。

    为什么不使用 format strings?

    format strings 是形如如下的结构:

    klog.V(4).Infof("Got a Retry-After %ds response for attempt %d to %v", seconds, retries, url)

    这种结构将 通用事件 和 具体内容 耦合在一起,不利于开发阶段降低理解程序逻辑的成本,也不便于使用阶段通过标准化的方式进行查询、分析,增加日志的使用成本。

    一种改善方式:

    klog.V(4).InfoS("got a retry-after response when requesting url", "attempt", retries, "after seconds", seconds, "url", url)

    为什么要使用具有过滤器能力的 log lib?

    开发过程中,可能会由于疏忽而将敏感信息输出到日志中,如密码、token 等信息。为了避免敏感信息泄露,需要加强 code review,同时也可以考虑在 logger 中配置过滤器,自动进行敏感信息的过滤,参见 《KEP: Kubernetes system components logs sanitization》 。

    对于 golang,可以考虑使用 klog 作为 logger 实现,并配合 Kubernetes/component-base: sanitization 进行使用。

    运行阶段

    最佳实践

    运行阶段是对日志的使用,包括如下 4 个阶段:

    1. 采集
    2. 查询
    3. 分析
    4. 告警

    由于日志服务对程序的运行以及后续的运营极为重要,建议采用托管型的日志产品来满足运行阶段对日志的使用需求,如阿里云的 SLS 产品。

    要是在多个region部署了集群,而且集群的组件都一样,那在使用日志产品的时候,就得保证每个region里日志项目名称的规则是一致的。就拿阿里云SLS产品来说吧,要是想分别收集多个region的日志,那project、logstore的名称在多个region中就得保持相同的规则,这样做的目的就是为了方便用统一的方法对不同集群的日志进行查询和分析。

    通常情况下,日志产品会提供上述 4 个阶段的服务,具体的使用方法可以参见对应日志产品的文档,下述针对告警做重点分析。

    告警

    告警要满足如下目标:

    • 覆盖面全
    • 关键告警及时感知

    基于开发阶段的日志规范,可对 error 级别的告警做统一告警,将告警信息统一到低优先级的通知渠道,如表征普通告警的钉钉群。

    若要及时感知到关键告警,需要从如下 2 个方面入手:

    • 定义「关键告警」特征
    • 分级告警,与相应的通知渠道结合

    定义「关键告警」的特征是个 长期、持续完善 的过程,有 通用关键告警 和 业务关键告警。

    通用关键告警 与业务耦合度小,如机器级别的关键告警 (宕机、内存压力大、load 过高等)、托管服务的关键告警 (master 组件 panic/OOM、master 组件内存压力大等),这部分告警配置可以作为基础服务,作为集群交付的一部分。

    业务关键告警 与业务耦合度大,需要与业务长期维护,重点关注「业务交互环节」的告警。

    通知渠道通常会有如下几类:

    • IM 群 (如钉钉群等)
    • 信息
    • 电话
    • webhook

    这些通知渠道对人触达的及时性不同,电话触达性最好,信息其次,然后是 IM 群。webhook 本质上是条通道,可以对接不同的 IM 群或信息、电话渠道。

    推荐如下三种告警级别:

    配置告警是个长期、不断迭代的过程,为了有助于告警有效性的迭代,配置每条告警时,可以考虑使用如下表格,规范化每条告警的配置,并深入思考告警配置的有效性:

    FAQ

    如何预先配置未模拟出的异常?

    OpenAPI/SDK/Lib等业务依赖通常会有错误码列表,比如阿里云的API错误中心以及Lib中的errors文件等。我们可以依据这些已知信息,将依赖的OpenAPI/SDK中对业务有明显负面影响的状态码进行分级告警,例如ServiceUna vailable、Forbbiden、Unauthorized等。

    欢迎大家留言交流使用 Kubernetes 过程中的稳定性保障问题,以及对稳定性保障的期待工具或服务。大家也可通过邮箱联系作者,进一步深入交流:flyer.zyf@alibaba-inc.com

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    3Dmax建模哪个版本最稳当
    3Dmax建模哪个版本最稳当

    面对众多3ds Max版本,如何选择最稳当的一个?本文从界面布局、核心功能稳定性和插件生态角度,分析经典版本与现代版本的优劣,助你找到最适合当前硬件与项目的3ds Max版本。

    Fitten Code 发布新版更新日志:稳定性与性能同步提升
    Fitten Code 发布新版更新日志:稳定性与性能同步提升

    FittenCode新版聚焦稳定性与性能优化,修复内存占用高和补全响应延迟问题,优化插件加载机制以缩短启动时间、降低资源占用。AI上下文分析能力提升,补全建议更贴合实际场景,异常处理机制完善,减少网络波动导致的请求失败。

    MySQL发布最新安全更新,持续提升数据库稳定性与企业级安全能力
    MySQL发布最新安全更新,持续提升数据库稳定性与企业级安全能力

    MySQL近期推送重要版本更新,修复数据库连接处理安全漏洞,优化底层组件,提升在高并发场景下的稳定性。同时公布全新社区治理模式,增强开发者参与透明度,旨在平衡商业属性与开源生态需求。

    Debian如何提升Oracle数据库稳定性
    Debian如何提升Oracle数据库稳定性

    提升Debian上Oracle数据库稳定性的实用清单一 系统资源与内核参数资源与权限基线创建专用账户与目录:groupadd oinstall / groupadd dba;useradd -g oinstall -G dba oracle;mkdir -p /u01/app/oracle;chow

    如何确保DebianOpenSSL的稳定性
    如何确保DebianOpenSSL的稳定性

    确保 Debian 上 OpenSSL 的稳定性一 系统更新与版本管理使用 APT 持续接收安全修复:定期执行 sudo apt update && sudo apt upgrade,并在需要时执行 dist-upgrade;变更前后用 openssl version 与 apt-cache pol

    如何提升Debian上Oracle的稳定性
    如何提升Debian上Oracle的稳定性

    提升Debian系统上Oracle稳定性的实用方法汇总一 运行环境与资源基线为数据库预留充足内存:保留约20%给操作系统,其余分配给 Oracle;内存分配遵循“SGA 为主、PGA 为辅”。经验值:OLTP 场景建议 PGA ≈ 物理内存的 20%、SGA ≈ 60%;DSS/OLAP 场景建议

    严选电子面单稳定性治理实践
    严选电子面单稳定性治理实践

    稳定性治理是系统演进过程中一个不容忽视的重要命题,这个命题往往需要持续性的投入,如何让持续性的治理工作有目标、过程可跟进、结果能检验?本文结合严选供应链技术团队在稳定性治理上的实践,对治理工作中的可用性、监控告警和线上应急三个方面做了一些思考与总结。1.什么是稳定性治理稳定性治理这事儿可不简单,业界

    Kubernetes稳定性保障手册--极简版
    Kubernetes稳定性保障手册--极简版

    Kubernetes 在生产环境中的采用率越来越高,复杂度越来越高,由此带来的稳定性保障的挑战越来越大。对于基于 Kubernetes 的云产品,稳定性保障已成为基本诉求,稳定性缺陷会给产品带来巨大的损失,如用户流失、用户信心下降、产品迭代速度变慢等。虽然基于 Kubernetes 的稳定性保障很重

    容灾切换时间减少99%,“云边协同”如何提升影演服务效率与稳定性
    容灾切换时间减少99%,“云边协同”如何提升影演服务效率与稳定性

    沉寂三年后,线下演出市场正在迎来“报复性”复苏。对于一场期待已久的演唱会,验票环节是否流畅、能否快速入场,直接影响着每一位观众对整场演出服务的体验和评价,相信不少朋友都有着切身的感受。阿里巴巴影业集团是以互联网为核心驱动的影视实业公司,拥有内容生产制作、互联网宣传发行、衍生品

    我国正攻克6G原型样机:解决造价高、功耗散热、稳定性等问题
    我国正攻克6G原型样机:解决造价高、功耗散热、稳定性等问题

    8月12日消息,工信部已经启动6G部省协同试点专项行动,目前国内6G研发进入第二阶段,重点推进原型样机研发与实景场景测试。当下样机普遍存在造价昂贵、功耗偏高、散热难、整机稳定性不足等短板,全国统一搭建国家级试验平台集中攻关。按照全球时间规划,2029年会敲定完整6G国际标准,2030年前后实现商用落

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。