Pandas重复值识别与提取技巧

在数据处理过程中，我们经常会遇到需要检查DataFrame中每行数据是否存在内部重复值的情况。例如，在收集的用户输入或传感器数据中，某一行内的特定列可能意外地包含了相同的值。本教程将指导您如何使用Pandas的强大功能来识别这些行，并根据需求提取不同的结果。

示例数据准备

首先，我们创建一个示例DataFrame，其中包含一些行内重复值，以便演示后续的操作。

import numpy as np
import pandas as pd

df = pd.DataFrame([[1,1,2,4,5,6,7,7],
            [2,5,6,7,22,23,34,48],
            [3,3,5,6,7,45,46,48],
            [4,6,7,14,29,32,6,29], # 行内有重复值 6 和 29
            [5,6,7,13,23,33,35,7], # 行内有重复值 7
            [6,1,6,7,8,9,10,8],
            [7,0,2,5,7,19,7,5]], # 行内有重复值 7 和 5
            columns = ['Row_Num', 'Num1','Num2','Num3','Num4','Num5','Num6','Num7'])

print("原始DataFrame:")
print(df)

为了方便后续操作，我们将Row_Num列设置为DataFrame的索引。这样做可以简化行级别的筛选和数据提取。

df_indexed = df.set_index('Row_Num')
print("\n设置为索引后的DataFrame:")
print(df_indexed)

识别行内重复值

Pandas的duplicated()方法通常用于检查Series或DataFrame中的重复项。当应用于DataFrame并设置axis=1时，它可以在行级别上检查每个元素是否是该行中第一次出现的重复值。我们需要结合transform函数来对每一行应用此逻辑。

# 对每一行应用duplicated()，axis=1表示在行方向上检查重复
# lambda x: x.duplicated() 会返回一个布尔Series，标记该行中哪些值是重复的
df_duplicated_flags = df_indexed.transform(lambda x: x.duplicated(), axis=1)

print("\n行内重复值标记 (True表示该值是重复出现):")
print(df_duplicated_flags)

在df_duplicated_flags中，True表示对应位置的值在该行中是重复出现的（非首次出现）。

筛选包含多个重复值的行

我们不仅要识别重复值，还需要筛选出那些包含至少两个重复值的行。这可以通过计算df_duplicated_flags中每行True的数量来实现。

# 计算每行True的数量，即重复值的数量
# 筛选出至少有两个重复值的行
rows_with_multiple_duplicates = df_duplicated_flags.sum(axis=1) >= 2

print("\n筛选条件 (至少有两个重复值的行):")
print(rows_with_multiple_duplicates)

现在，我们可以使用这个布尔Series来筛选出原始DataFrame中符合条件的行。

# 提取所有包含多个重复值的行
filtered_df = df_indexed[rows_with_multiple_duplicates]
filtered_duplicated_flags = df_duplicated_flags[rows_with_multiple_duplicates]

print("\n包含多个重复值的原始行:")
print(filtered_df)
print("\n这些行对应的重复值标记:")
print(filtered_duplicated_flags)

提取结果：两种场景

根据需求，我们可能希望得到两种不同的结果：

场景一：提取包含重复值的行，但只保留非重复部分

这种场景下，我们希望得到原始行，但只显示那些在该行中不是重复出现的值。

# 使用 ~filtered_duplicated_flags 来选择非重复值
# dropna(axis=1) 用于移除那些所有值都是NaN的列（即原始列中只包含重复值的部分）
result1 = filtered_df[~filtered_duplicated_flags].dropna(axis=1)

print("\n结果1: 包含重复值的行，但只保留非重复部分:")
print(result1)

场景二：仅提取行内的重复值

这种场景下，我们只关心那些在该行中重复出现的值。

# 使用 filtered_duplicated_flags 来选择重复值
# dropna(axis=1) 用于移除那些所有值都是NaN的列（即原始列中不包含重复值的部分）
result2 = filtered_df[filtered_duplicated_flags].dropna(axis=1)

print("\n结果2: 仅提取行内的重复值:")
print(result2)

如果您需要将索引重置为列，并可能重命名列以匹配特定的输出格式，可以使用reset_index()和rename()方法。

# 示例：将result2的索引重置为列，并重命名列
final_result2 = result2.reset_index()
# 假设您希望列名为 'Row_Num', 'Num1', 'Num2'
# 这里需要根据实际输出的列数进行调整
final_result2.columns = ['Row_Num'] + [f'Num{i}' for i in range(1, final_result2.shape[1])]

print("\n最终结果2 (重置索引并重命名列):")
print(final_result2)

注意事项与最佳实践

1. 列范围选择: 如果您只想在DataFrame的特定子集列中检查重复项（例如，只在'Num1'到'Num5'之间），您可以先选择这些列，然后应用transform方法。

   # 例如，只在 'Num1' 到 'Num5' 列中检查重复
   subset_cols = ['Num1', 'Num2', 'Num3', 'Num4', 'Num5']
   df_subset_duplicated_flags = df_indexed[subset_cols].transform(lambda x: x.duplicated(), axis=1)
   # 后续操作类似，但基于 df_subset_duplicated_flags

2. Row_Num处理: 将Row_Num设置为索引是处理这类问题的常见做法，因为它能清晰地标识每一行。如果最终输出需要Row_Num作为普通列，请记得使用reset_index()。
3. 性能考虑: 对于非常大的DataFrame，transform结合lambda函数通常效率较高，但如果遇到性能瓶颈，可以考虑使用NumPy数组操作或更底层的优化。不过对于大多数Pandas使用场景，当前方法已经足够高效。
4. 重复定义: duplicated()默认将第一次出现的值标记为False，后续的重复值标记为True。如果您需要不同的重复定义（例如，标记所有重复值），可能需要调整逻辑。

总结

本教程详细演示了如何利用Pandas的duplicated()函数和数据转换技巧，有效地识别DataFrame中包含行内重复值的行。通过灵活运用布尔索引和dropna()方法，我们能够精确地提取出符合特定需求的数据，无论是保留非重复部分还是仅提取重复值本身。这些技术在数据清洗、异常检测和特征工程等领域具有广泛的应用价值。