Pandas根据条件和邻行生成新列方法

1. 问题背景与挑战

在数据处理中，我们经常需要根据特定条件创建新的数据列。一个常见的场景是，如果某一列的值满足某个条件，新列就取自当前行的另一列值；否则，新列的值需要从其上方（或下方）最近的满足条件的行中获取。这种“依赖于相邻行”的逻辑，尤其是在存在连续多行不满足条件时，如果采用传统的循环或简单的移位操作，往往效率低下且难以正确处理。

例如，考虑以下DataFrame：

import pandas as pd

data = {
    'Colonne 1': ['MTN_LI2', 'MTN_IRU', 'MTN_ACE', 'MTN_IME', 'RIPP7', 'CA_SOT', 'CA_OTI', 'CNW00', 'BSNTF', 'RIPNJ'],
    'Dimension 1': ['Indicator', 'Indicator', 'Indicator', 'Indicator', 'Organisation', 'Indicator', 'Indicator', 'Organisation', 'Organisation', 'Organisation']
}
df = pd.DataFrame(data)
print(df)

原始DataFrame df 如下所示：

  Colonne 1   Dimension 1
0  MTN_LI2      Indicator
1  MTN_IRU      Indicator
2  MTN_ACE      Indicator
3  MTN_IME      Indicator
4     RIPP7  Organisation
5    CA_SOT     Indicator
6    CA_OTI     Indicator
7     CNW00  Organisation
8     BSNTF  Organisation
9     RIPNJ  Organisation

我们的目标是创建一列 new，其逻辑如下：

• 如果 Dimension 1 的值为 'Organisation'，则 new 列取当前行 Colonne 1 的值。
• 如果 Dimension 1 的值不是 'Organisation'，则 new 列取其下方最近的、Dimension 1 为 'Organisation' 的行的 Colonne 1 值。如果下方没有，则保持为空。

2. 核心解决方案：Series.where 与 Series.bfill/ffill

Pandas提供了Series.where()方法，它允许我们根据布尔条件选择性地保留或替换Series中的值。结合bfill()（backward fill，向后填充）或ffill()（forward fill，向前填充）方法，可以优雅地解决上述问题。

2.1 Series.where() 的应用

首先，我们使用 Series.where() 来实现条件赋值。where(cond, other=NaN) 的作用是：当 cond 为 True 时，保留原Series的值；当 cond 为 False 时，替换为 other（默认为 NaN）。

对于我们的问题，条件是 df['Dimension 1'].eq('Organisation')。我们希望当条件为真时，取 df['Colonne 1'] 的值。

# 步骤1: 应用 Series.where()
temp_series = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation'))
print(temp_series)

执行上述代码后，temp_series 将会是：

0        NaN
1        NaN
2        NaN
3        NaN
4      RIPP7
5        NaN
6        NaN
7      CNW00
8      BSNTF
9      RIPNJ
Name: Colonne 1, dtype: object

可以看到，所有 Dimension 1 不是 'Organisation' 的行都被替换成了 NaN。

2.2 Series.bfill() 或 Series.ffill() 填充 NaN

现在，temp_series 中包含了我们需要的“标记”值（即'Organisation'对应的Colonne 1值）以及大量的 NaN。我们需要根据这些标记值来填充 NaN。

• Series.bfill() (Backward Fill): 向后填充，使用下一个有效观测值填充 NaN。这正好符合我们的需求：“取其下方最近的、Dimension 1 为 'Organisation' 的行的 Colonne 1 值”。
• Series.ffill() (Forward Fill): 向前填充，使用上一个有效观测值填充 NaN。这适用于“取其上方最近的”场景。

使用 bfill() 实现需求：

df['new'] = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')).bfill()
print(df)

输出结果：

  Colonne 1   Dimension 1    new
0  MTN_LI2      Indicator  RIPP7
1  MTN_IRU      Indicator  RIPP7
2  MTN_ACE      Indicator  RIPP7
3  MTN_IME      Indicator  RIPP7
4     RIPP7  Organisation  RIPP7
5    CA_SOT     Indicator  CNW00
6    CA_OTI     Indicator  CNW00
7     CNW00  Organisation  CNW00
8     BSNTF  Organisation  BSNTF
9     RIPNJ  Organisation  RIPNJ

可以看到，RIPP7 成功地填充了其上方的 NaN，CNW00 填充了其上方的 NaN。这完美地解决了问题。

使用 ffill() 的替代方案（了解其不同行为）：

如果你的需求是“如果 Dimension 1 的值不是 'Organisation'，则 new 列取其上方最近的、Dimension 1 为 'Organisation' 的行的 Colonne 1 值”，那么应该使用 ffill()：

df_ffill = df.copy() # 创建副本以展示不同结果
df_ffill['new_ffill'] = df_ffill['Colonne 1'].where(df_ffill['Dimension 1'].eq('Organisation')).ffill()
print(df_ffill)

输出结果：

  Colonne 1   Dimension 1 new_ffill
0  MTN_LI2      Indicator       NaN
1  MTN_IRU      Indicator       NaN
2  MTN_ACE      Indicator       NaN
3  MTN_IME      Indicator       NaN
4     RIPP7  Organisation     RIPP7
5    CA_SOT     Indicator     RIPP7
6    CA_OTI     Indicator     RIPP7
7     CNW00  Organisation     CNW00
8     BSNTF  Organisation     BSNTF
9     RIPNJ  Organisation     RIPNJ

注意，使用 ffill() 时，前四行（索引0-3）因为在它们上方没有 'Organisation' 值，所以仍然是 NaN。这突出了 bfill() 和 ffill() 在填充方向上的根本区别。

3. 注意事项与总结

• 性能优势： Series.where() 和 Series.bfill() / Series.ffill() 都是高度优化的Pandas操作，它们在C语言层面实现，因此对于大型DataFrame而言，比Python循环或自定义函数要快得多。
• 初始 NaN 处理：
  • 当使用 bfill() 时，如果DataFrame的起始部分（或任何连续的 NaN 块）在它们下方找不到任何非 NaN 值来填充，这些 NaN 将会保留。
  • 当使用 ffill() 时，如果DataFrame的起始部分在它们上方找不到任何非 NaN 值来填充，这些 NaN 将会保留。在我们的 ffill() 示例中，前四行就是这种情况。
• 灵活性： 这种 where().fill_method() 的模式非常灵活，可以应用于各种复杂的条件填充场景。你可以根据实际需求调整 where() 的条件以及选择 bfill() 或 ffill()。
• 链式操作： Pandas的许多方法都支持链式操作，使得代码简洁易读。

通过结合 Series.where() 和 Series.bfill() 或 Series.ffill()，我们能够高效且优雅地解决Pandas中涉及条件性赋值和跨行依赖的复杂数据转换问题。这种方法是处理此类场景的推荐实践。