Python中Pandas如何对比两表差异_利用concat结合比较逻辑找出不同

先想清楚一个核心问题：你要找的到底是两表之间的“集合差异”，还是“行级别的字段变更”？这个起点选错了，后面写再多代码都是白费。很多人拿两个数据框一上来就pd.concat、duplicated，结果跑出来一堆“假差异”——行顺序不同但内容相同的行也被标成了不同，白白浪费排查时间。其实，真正可靠的做法分两步走：先做好数据对齐，再根据数据量级和需求选择对比策略。

直接用 concat 拼接再找差异，90% 的情况会漏掉行顺序不同但内容相同的“假差异”

很多人一上来就 pd.concat([df1, df2], ignore_index=True)，然后用 duplicated(keep=False) 或 groupby 找唯一组——这在两表行数相同、列结构一致时看似可行，但只要存在任意一行在两表中位置不同，就会被误判为“差异”。真正要对比的是数据内容的集合等价性，不是拼接后的物理顺序。

先确保可比性：必须对齐索引 + 重排列 + 重排序

两表若带业务索引（如 'order_id'），应设为 index；若无，则需用所有列共同构成临时唯一键。否则 concat 后无法区分“同一行重复出现”和“两表各有一行但值相同”。

• 用 df1.set_index(['id', 'date'], drop=True) 和 df2.set_index(['id', 'date'], drop=True) 对齐逻辑主键
• 列名不一致？先统一：df2 = df2.rename(columns={'user_name': 'name', 'amt': 'amount'})
• 列顺序不同？强制对齐：cols = sorted(set(df1.columns) | set(df2.columns))，再 df1[cols] 和 df2[cols]
• 数值精度差异（如 float64 vs float32）？用 df.round(6) 统一后再比

用 concat + duplicated 找“只在某一张表出现”的行

这是最轻量、最可控的方式，适用于中小规模数据（百万行内）。关键在于：拼接后标记来源，再按全部列分组去重。

df1['src'] = 'df1'
df2['src'] = 'df2'
combined = pd.concat([df1, df2], ignore_index=True, sort=False)
# 注意：必须把所有参与比较的列都放进 subset，包括 src
diff_mask = ~combined.duplicated(subset=combined.columns.drop('src'), keep=False)
only_in_df1 = combined[diff_mask & (combined['src'] == 'df1')].drop('src', axis=1)
only_in_df2 = combined[diff_mask & (combined['src'] == 'df2')].drop('src', axis=1)

⚠️ 容易踩的坑：duplicated 默认对 NaN 视为相等，但若某列含大量空值，可能误合并；此时应先用 fillna() 填充占位符（如 ''），或改用 combine_first + compare（Pandas 1.5+）。

大数据量或需逐字段标红差异时，别硬刚 concat，换 merge + compare

当两表行数超 50 万，或你需要知道“哪一列不同”，concat 方法会变慢且难调试。更稳的路径是：以主键为基准做外连接，再逐列比对布尔值。

merged = df1.merge(df2, on=['id', 'date'], how='outer', suffixes=('_l', '_r'), indicator=True)
# 找出只在左/右存在的行
only_left = merged[merged['_merge'] == 'left_only']
only_right = merged[merged['_merge'] == 'right_only']
# 对共有的行，逐列比较（注意类型一致）
common = merged[merged['_merge'] == 'both']
diff_cols = []
for col in ['name', 'amount', 'status']:
    l_col, r_col = f'{col}_l', f'{col}_r'
    # 处理 NaN：pandas.isna 配合 == 更安全
    is_diff = ~(common[l_col].equals(common[r_col]) | 
                (common[l_col].isna() & common[r_col].isna()) |
                (common[l_col] == common[r_col]))
    if is_diff.any():
        diff_cols.append(col)

这个逻辑虽然代码多几行，但每一步都可检查中间结果，不会因 concat 后索引丢失或列错位而白忙活。

真正麻烦的从来不是怎么写代码，而是没想清楚“你到底要找什么差异”：是整体集合差异？主键缺失？还是字段级变更？选错起点，后面全得返工。