处理浮点列与NaN：精度与缺失值对比分析

挑战：浮点数比较与NaN处理

在数据分析中，我们经常需要对比两个DataFrame中特定列的数值差异。当这些列包含浮点数和缺失值（NaN）时，简单的相等性检查会遇到两个主要挑战：

1. 浮点数精度问题： 计算机表示浮点数时可能存在微小的精度误差，导致表面上相同的数值在直接比较时被判定为不相等。例如，0.1 + 0.2可能不严格等于0.3。
2. NaN的特殊性： 在Python和Pandas中，NaN（Not a Number）是一个特殊的值，其特点是NaN != NaN。这意味着，如果两列在同一位置都包含NaN，直接比较会将其视为不同，但这通常不是我们希望的行为，我们通常希望NaN与NaN被视为相同，不计入差异。

为了克服这些挑战，我们需要一种稳健的方法来比较浮点数列并准确计算差异行数。

解决方案核心：round()与compare()

Pandas库提供了强大的工具来解决上述问题：

• pandas.DataFrame.round()： 用于对DataFrame中的浮点数进行四舍五入，从而消除由于精度问题导致的微小差异。
• pandas.DataFrame.compare()： 用于比较两个DataFrame或Series，并返回一个仅包含差异行的新DataFrame。它在处理NaN时具有智能行为，即当两边都是NaN时，该行不会被视为差异并包含在结果中，这正是我们所需要的。

实战演示

下面通过一个具体的例子来演示如何使用round()和compare()来解决浮点数和NaN的比较问题。

假设我们有两个结构相同的DataFrame，它们在某一列（col）中包含浮点数和NaN，我们需要找出col列中值不同的行数。

1. 数据准备

首先，创建两个示例DataFrame：

import pandas as pd

d1 = {"col": [7.1, 2.0, 3.0, 4.0, None, 1.9, 1.3]}
d2 = {"col": [7.1, 2.5, 3.0, 4.0, None, 1.2, None]}

df1 = pd.DataFrame(d1)
df2 = pd.DataFrame(d2)

print("DataFrame 1:")
print(df1)
print("\nDataFrame 2:")
print(df2)

2. 统一浮点数精度

为了解决浮点数精度问题，我们首先对需要比较的列进行四舍五入。选择合适的四舍五入位数取决于数据的实际精度要求。这里我们以保留4位小数为例。

# 对 'col' 列进行四舍五入，保留4位小数
df1["col"] = df1["col"].round(4)
df2["col"] = df2["col"].round(4)

print("\nDataFrame 1 (四舍五入后):")
print(df1)
print("\nDataFrame 2 (四舍五入后):")
print(df2)

3. 执行DataFrame列比较

使用df.compare()方法来比较两个DataFrame。此方法会返回一个新的DataFrame，其中只包含两个DataFrame之间存在差异的行和列。对于NaN的处理，如果df1和df2在同一位置都为NaN，compare()方法默认不会将此行包含在结果中，这符合我们“NaN与NaN视为相同”的需求。如果其中一个为NaN而另一个为数值，则会被视为差异。

# 使用 compare 方法比较两个 DataFrame
# 默认情况下，compare 会比较所有列，但由于我们只修改了 'col'，所以结果会反映 'col' 的差异
comparison = df1.compare(df2)

print("\n差异比较结果:")
print(comparison)

compare()方法返回的DataFrame具有特殊的列结构：对于每个有差异的列，它会创建两列，分别以self和other作为子列名，表示原始DataFrame（调用compare的DataFrame）和被比较DataFrame中的值。

从输出中可以看到：

• 索引1处，df1.col是2.0，df2.col是2.5，被识别为差异。
• 索引5处，df1.col是1.9，df2.col是1.2，被识别为差异。
• 索引6处，df1.col是1.3，df2.col是NaN，被识别为差异。
• 索引4处，df1.col和df2.col都是NaN，因此没有出现在比较结果中，这正是我们希望的“NaN与NaN视为相同”的行为。

4. 统计差异行数

差异比较结果DataFrame的行数即为不同行的数量。

# 统计差异行数
different_rows_count = len(comparison)

print(f"\n差异行数: {different_rows_count}")

完整示例代码

将上述步骤整合到一起，形成完整的解决方案代码：

import pandas as pd

# 1. 数据准备
d1 = {"col": [7.1, 2.0, 3.0, 4.0, None, 1.9, 1.3]}
d2 = {"col": [7.1, 2.5, 3.0, 4.0, None, 1.2, None]}

df1 = pd.DataFrame(d1)
df2 = pd.DataFrame(d2)

print("DataFrame 1:")
print(df1)
print("\nDataFrame 2:")
print(df2)

# 2. 统一浮点数精度（例如，保留4位小数）
df1["col"] = df1["col"].round(4)
df2["col"] = df2["col"].round(4)

print("\nDataFrame 1 (四舍五入后):")
print(df1)
print("\nDataFrame 2 (四舍五入后):")
print(df2)

# 3. 执行DataFrame列比较
# compare方法会返回一个只包含差异的DataFrame
# 如果两边都是NaN，则不会被包含在结果中
comparison = df1.compare(df2)

print("\n差异比较结果:")
print(comparison)

# 4. 统计差异行数
different_rows_count = len(comparison)

print(f"\n差异行数: {different_rows_count}")

输出结果与解读

运行上述代码，将得到如下输出：

DataFrame 1:
   col
0  7.1
1  2.0
2  3.0
3  4.0
4  NaN
5  1.9
6  1.3

DataFrame 2:
   col
0  7.1
1  2.5
2  3.0
3  4.0
4  NaN
5  1.2
6  NaN

DataFrame 1 (四舍五入后):
   col
0  7.1
1  2.0
2  3.0
3  4.0
4  NaN
5  1.9
6  1.3

DataFrame 2 (四舍五入后):
   col
0  7.1
1  2.5
2  3.0
3  4.0
4  NaN
5  1.2
6  NaN

差异比较结果:
   col      
  self other
1  2.0   2.5
5  1.9   1.2
6  1.3   NaN

差异行数: 3

从输出结果中，我们可以清晰地看到哪些行存在差异，以及差异的具体值。最终统计的差异行数是3，这准确地反映了在考虑浮点数精度和NaN特殊处理后，两列中实际不同的行数。

注意事项与最佳实践

• 选择合适的四舍五入精度： round()方法的参数应根据数据的业务含义和所需的精度来确定。过高的精度可能无法解决浮点数误差，过低的精度则可能丢失有效信息。
• compare()的灵活性： compare()方法不仅可以比较单个列，也可以比较整个DataFrame。它还提供了align_axis、keep_shape等参数，以适应更复杂的比较需求。
• 性能考量： 对于非常大的DataFrame，compare()方法可能需要一定的计算资源。在性能敏感的场景下，可以考虑先筛选出可能存在差异的子集，或者使用Numpy进行更底层的数组操作。然而，对于大多数常见的数据集，compare()提供了非常便捷且高效的解决方案。
• NaN与None： 在Pandas中，None在数值列中通常会被转换为NaN。因此，本教程中处理NaN的方法同样适用于包含None的数值列。