Pandas统计列表首个非空值并新增列

本文档介绍了如何使用 Pandas 处理包含字典和列表的数据，并创建一个新列来统计特定列表中首个非空值的数量。我们将通过两种不同的方法，利用列表推导式和 Series 的 explode 方法，来实现这一目标，并提供相应的代码示例和详细解释。

方法一：使用列表推导式

这种方法直接利用 Python 的列表推导式，结合 Pandas 的 notna 函数，来判断列表中的元素是否为非空值。

首先，我们从 DataFrame 的 column_dic 列中提取每个字典，并访问其中的 list_A 列表。然后，提取每个 list_A 列表的第一个元素。最后，使用 pd.notna() 函数检查这些元素是否为非空值，并使用 sum() 函数计算 True 的数量，即非空值的数量。

import pandas as pd

data = [{"list_A": [2.93, 4.18, 4.18, None, 1.57, 1.57, 3.92, 6.27, 2.09, 3.14, 0.42, 2.09],
         "list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]},
        {"list_A": [2.51, 3.58, 3.58, None, 1.34, 1.34, 3.36, 5.37, 1.79, 2.69, 0.36, 1.79],
         "list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]},
        {"list_A": [None, 5.94, 5.94, None, 2.23, 2.23, 5.57, 8.9, 2.97, 4.45, 0.59, 2.97],
         "list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]}]

# 创建一个 DataFrame，其中包含一个名为 "column_dic" 的列
df = pd.DataFrame({"column_dic": [data]})


df['count_first_item'] = [pd.notna([y['list_A'][0] for y in x]).sum()
                          for x in df['column_dic']]
print (df)

代码解释：

• [y['list_A'][0] for y in x]: 这是一个列表推导式，它遍历 df['column_dic'] 中的每个列表 x，然后遍历 x 中的每个字典 y，并提取 y['list_A'][0]，即 list_A 列表的第一个元素。
• pd.notna(...): pd.notna() 函数检查列表中的每个元素是否为非空值，并返回一个布尔值列表。
• .sum(): sum() 函数计算布尔值列表中 True 的数量，即非空值的数量。
• df['count_first_item'] = ...: 将计算结果赋值给 DataFrame 的新列 count_first_item。

方法二：使用 Series.explode() 和 Series.str.get()

这种方法利用 Pandas 的 Series.explode() 函数将列表展开，然后使用 Series.str.get() 函数提取 list_A 列表，并使用索引 [0] 提取第一个元素。最后，使用 DataFrameGroupBy.count() 函数统计非空值的数量。

import pandas as pd

data = [{"list_A": [2.93, 4.18, 4.18, None, 1.57, 1.57, 3.92, 6.27, 2.09, 3.14, 0.42, 2.09],
         "list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]},
        {"list_A": [2.51, 3.58, 3.58, None, 1.34, 1.34, 3.36, 5.37, 1.79, 2.69, 0.36, 1.79],
         "list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]},
        {"list_A": [None, 5.94, 5.94, None, 2.23, 2.23, 5.57, 8.9, 2.97, 4.45, 0.59, 2.97],
         "list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]}]

# 创建一个 DataFrame，其中包含一个名为 "column_dic" 的列
df = pd.DataFrame({"column_dic": [data]})

df['count_first_item'] = (df['column_dic'].explode().str.get('list_A').str[0]
                                          .groupby(level=0).count())
print (df)

代码解释：

• df['column_dic'].explode(): explode() 函数将 column_dic 列中的列表展开，将每个列表中的元素转换为 DataFrame 中的一行。
• .str.get('list_A'): str.get('list_A') 函数提取每个字典中的 list_A 列表。
• .str[0]: str[0] 提取 list_A 列表的第一个元素。
• .groupby(level=0).count(): groupby(level=0) 函数按照原始 DataFrame 的索引进行分组，然后 count() 函数计算每个组中非空值的数量。

总结

本文介绍了两种使用 Pandas 统计列表中首个非空值的数量并添加到新列的方法。第一种方法使用列表推导式，代码更简洁，但可能在处理大型数据集时效率较低。第二种方法使用 Series.explode() 和 Series.str.get() 函数，代码更复杂，但在处理大型数据集时效率更高。您可以根据自己的实际情况选择合适的方法。

注意事项：

• 确保你的 Pandas 版本是最新的，以便使用 explode() 函数。
• 如果你的数据集中包含缺失值，请使用 pd.notna() 函数或 count() 函数来处理这些缺失值。
• 在处理大型数据集时，请考虑使用矢量化操作来提高代码的效率。