Linux怎么查看系统的Interrupts中断 Linux中断平衡优化详解

Linux中断平衡优化：从数字表象到性能闭环的实战指南

直接查看/proc/interrupts文件，确实能一览系统的中断分布概貌。但问题在于，光看这些数字本身，意义不大。真正的功夫，在于如何结合设备类型、CPU亲和性设置、软中断状态以及irqbalance服务的动态调整，综合判断系统是否存在实质性的中断失衡。关键在于，能否精准识别出在单个CPU上异常飙升的特定IRQ（比如eth0或nvme），并进一步验证其对应的软中断（记录在/proc/softirqs中）与业务线程的负载是否同步达到了均衡状态。

直接看 /proc/interrupts 就能知道系统中断分布，但光看数字没用——得结合设备、CPU亲和性、软中断和 irqbalance 状态一起判断是否真存在失衡。

怎么快速定位高干扰中断源

中断失衡的典型特征，往往不是所有中断数量普遍偏高，而是有那么一两个“刺头”IRQ，在某个特定的CPU核上疯狂增长，最终把这个核的性能彻底拖垮。所以，核心观察点不是中断总量的多少，而是其在不同CPU间分布的“斜率”——是否出现了严重的倾斜。

• 在cat /proc/interrupts的输出中，重点筛选最后一列包含eth0、nvme、msi或IO-APIC等关键标识的行。然后，紧盯某一行数据，看是否在单个CPU列（例如CPU1）上的数值，远远高于其他CPU列。
• 使用watch -n 1 'cat /proc/interrupts | grep "eth0\|nvme"'命令进行实时观察。如果发现某行某列的中断计数每秒飙升几百甚至上千次，那么基本可以锁定它就是问题的源头。
• 需要特别留意RES（重调度）、CAL（处理器间中断）、TIMER（定时器）这类内核中断。如果它们持续飙升，通常指向的是进程调度异常或存在忙循环（busy-loop），属于软件层面的问题，而非硬件中断失衡。
• 通过ethtool -S eth0 | grep -E "(rx_packets|rx_interrupts)"命令检查网卡统计。如果rx_interrupts（接收中断数）远大于rx_packets（接收包数），例如达到5:1甚至更高，这往往意味着NAPI（New API）机制没有生效，网卡仍然处于低效的“每包一中断”模式。此时就需要检查GRO/LRO（接收端卸载）是否开启，以及RSS（接收侧缩放）队列数量是否配置合理。

为什么改了 smp_affinity 还没用

手动修改了/proc/irq/42/smp_affinity文件，但几秒钟后设置又被恢复原样？遇到这种情况，十有八九是irqbalance这个后台服务在“悄悄”覆盖你的手动配置。

• 首先，必须用systemctl status irqbalance确认该服务的运行状态。只要你在进行低延迟优化或CPU绑核操作，停止并禁用irqbalance通常是一个强制步骤：sudo systemctl stop irqbalance && sudo systemctl disable irqbalance。
• smp_affinity的值是十六进制位掩码，例如0x01代表CPU0，0x03代表CPU0和CPU1。不过，在现代系统上，更推荐使用可读性更高的smp_affinity_list接口，例如echo 0,2 > /proc/irq/42/smp_affinity_list，这样可以避免位运算带来的理解错误。
• 在写入亲和性设置前，务必确认该IRQ是否支持动态调整。检查ls -l /proc/irq/42/目录下是否存在smp_affinity*文件。某些由固件锁定的中断（例如一些BMC管理控制器或老旧RAID卡的中断）可能不允许修改，尝试写入会返回Operation not permitted错误。
• 在NUMA架构系统中，优化策略需要更进一步：优先将网卡IRQ绑定到与该网卡物理直连的CPU节点上。这需要结合lscpu命令查看NUMA节点信息，以及使用lspci -vv -s $(ethtool -i eth0 | grep bus-info | awk '{print $2}') | grep NUMA命令来交叉验证网卡所属的NUMA节点。

软中断（softirq）堆积比硬件中断更隐蔽

/proc/interrupts只统计硬件IRQ的触发次数，而像NET_RX（网络接收）、NET_TX（网络发送）、RCU（读-复制-更新）这些软中断，其执行次数记录在/proc/softirqs里。它们不占用IRQ编号，但对CPU资源的消耗可能更严重，并且其高负载容易被top等工具误判为是某个“进程”占用了大量CPU。

• 通过cat /proc/softirqs查看各CPU上各类软中断的执行次数。需要重点关注NET_RX这一列——如果CPU1上的数值是其他核心的5倍以上，同时mpstat -P ALL 1命令显示该核心的%soft（软中断占用率）持续高于20%，那就明确指示网络接收下半部处理已成为性能瓶颈。
• 软中断本身并不直接绑定CPU，但其执行受限于当前正在运行的CPU核。一个关键机制是：软中断会在硬件中断退出后，立即在**触发该硬件中断的那个CPU**上执行。因此，硬件IRQ绑定不均，必然导致对应的软中断负载也不均衡。
• 所以，优化不能只停留在调整IRQ亲和性。必须配合启用网卡的多队列功能：先用ethtool -l eth0查看网卡支持的最大通道数，然后用ethtool -L eth0 combined 4（假设设置为4）开启足够的队列。最后，确保每个队列都分配到了独立的IRQ号（cat /proc/interrupts | grep eth0应该能看到多个不同的IRQ编号）。
• RSS（接收侧缩放）功能的生效，需要网卡驱动、固件、甚至交换机的流控（flow control）设置在全链路上匹配。否则，即使系统层面开启了8个队列，网络流量仍然可能全部哈希到第一个队列对应的IRQ上，导致优化失效。

真正的难点，从来不是知道该修改哪一行配置。真正的挑战在于，确认改动之后是否形成了一个完整的性能优化闭环：IRQ被成功分散了 → 对应的软中断负载是否也同步摊开了？ → 业务线程是否真的不再被同核上的高频中断所打断？ → L1/L2级CPU缓存命中率有没有因此得到回升？要验证这一切，必须借助perf stat -C 1 -e cycles,instructions,cache-references,cache-misses这样的性能剖析工具进行前后对比，而不是仅仅看到/proc/interrupts里的数字变小，就认为大功告成。