Pandas 数据聚合：分组百分比计算技巧

本文旨在介绍如何使用 Pandas 库高效地对 DataFrame 进行分组聚合，并计算特定指标的百分比利用率。通过 groupby() 和 transform() 方法，避免使用低效的 apply() 函数，实现更快速、简洁的数据处理。我们将以计算设备带宽利用率为例，演示具体操作步骤和代码示例。

使用 Pandas 进行高效分组聚合和百分比计算

Pandas 提供了强大的数据处理功能，其中分组聚合是数据分析中常用的操作。当需要计算每个分组内的特定指标的百分比时，可以使用 groupby() 和 transform() 方法高效地实现。本文将详细介绍如何使用这些方法，并避免使用效率较低的 apply() 函数。

数据准备

首先，我们需要创建一个 Pandas DataFrame 作为示例数据。以下代码创建了一个包含设备名称、接口信息、输入输出流量和带宽使用情况的 DataFrame：

import pandas as pd

data = {'Device': ['Usa123', 'Usa123', 'Emea01', 'Emea01'],
        'int': ['Eth1', 'Eth0', 'Wan1', 'Eth3'],
        'In': [1000, 10000, 1000, 2000],
        'Out': [500, 700, 500, 1000],
        'Bw_in': [100, 200, 150, 200],
        'Bw_out': [75, 80, 90, 70]}

df = pd.DataFrame(data)

print(df)

输出：

  Device   int     In   Out  Bw_in  Bw_out
0  Usa123  Eth1   1000   500    100      75
1  Usa123  Eth0  10000   700    200      80
2  Emea01  Wan1   1000   500    150      90
3  Emea01  Eth3   2000  1000    200      70

计算分组百分比利用率

我们的目标是计算每个设备的输入和输出带宽利用率，即 Bw_in / In 和 Bw_out / Out 的总和，并将其添加到 DataFrame 中。可以使用以下代码实现：

g = df.groupby("Device")

df[["%InUsage", "%OutUsage"]] = (
    g[["Bw_in", "Bw_out"]].transform("sum")
    / g[["In", "Out"]].transform("sum").to_numpy()
)
print(df)

输出：

  Device   int     In   Out  Bw_in  Bw_out  %InUsage  %OutUsage
0  Usa123  Eth1   1000   500    100      75  0.027273   0.129167
1  Usa123  Eth0  10000   700    200      80  0.027273   0.129167
2  Emea01  Wan1   1000   500    150      90  0.116667   0.106667
3  Emea01  Eth3   2000  1000    200      70  0.116667   0.106667

代码解释：

1. df.groupby("Device"): 按照 "Device" 列进行分组，创建一个 DataFrameGroupBy 对象。
2. g[["Bw_in", "Bw_out"]].transform("sum"): 对每个分组内的 "Bw_in" 和 "Bw_out" 列分别求和。transform("sum") 方法会将求和结果广播到每个分组内的每一行，保持 DataFrame 的原始形状。
3. g[["In", "Out"]].transform("sum"): 类似地，对每个分组内的 "In" 和 "Out" 列分别求和，并将结果广播到每一行。
4. .to_numpy(): 将 g[["In", "Out"]].transform("sum") 转换为 NumPy 数组，以便进行广播除法。
5. /: 将带宽使用总和除以总流量，计算百分比利用率。
6. df[["%InUsage", "%OutUsage"]] = ...: 将计算结果赋值给 DataFrame 的新列 "%InUsage" 和 "%OutUsage"。

避免使用 apply()

虽然可以使用 apply() 函数实现相同的功能，但 transform() 方法通常更高效，因为它利用了 Pandas 的内部优化。apply() 函数通常在循环中逐行或逐列应用函数，而 transform() 方法可以对整个分组进行批量操作。

以下是使用 apply() 的示例代码（不推荐）：

# 不推荐使用
def calculate_usage(x):
    in_usage = x['Bw_in'].sum() / x['In'].sum()
    out_usage = x['Bw_out'].sum() / x['Out'].sum()
    return pd.Series({'%InUsage': in_usage, '%OutUsage': out_usage})

df[['%InUsage', '%OutUsage']] = df.groupby('Device').apply(calculate_usage)

总结

本文介绍了如何使用 Pandas 库高效地进行分组聚合，并计算特定指标的百分比利用率。通过 groupby() 和 transform() 方法，可以避免使用低效的 apply() 函数，实现更快速、简洁的数据处理。 transform() 方法的优势在于它可以将聚合结果广播到每个分组内的每一行，从而避免了显式循环，提高了代码效率。 在处理大型数据集时，这种优化尤为重要。