Pandas 多条件列匹配合并：基于 ID 映射与逻辑排重的通用解决方案

本文介绍如何在 Pandas 中实现灵活的数据框合并——当目标 ID 可能出现在多个源列（如 IDL1 或 IDL2）中，且需排除与原始字段组合（如 Orig+Dest）完全一致的冗余匹配时，通过 melt + merge + 布尔过滤构建健壮、可扩展的合并逻辑。

实际的数据分析工作中，很多合并需求并不是“一张表一个键”那么简单。比如，目标表里某个 ID 字段，可能出现在源表的两个甚至更多候选列中——IDL1 或 IDL2 都有可能。而且，即便匹配上了，还得根据业务规则过滤掉那些“完全重复”的记录（例如 Orig+Dest 与 Orig2+Dest2 一模一样的情况）。这时候，直接套用 pd.merge() 单键匹配就行不通了。不过别急，换个思路，用 pandas.melt() 把源表的多列 ID 先“拍平”成长格式，再合并，问题就迎刃而解了。这个方法不仅清晰，还很容易扩展到更多列，算是这一类场景下的通用解法。

具体拆解成三步来看：

1. 把源表 df2 里的多列 ID（比如 IDL1、IDL2）熔合成一列
   用 melt() 把 IDL1 和 IDL2 合并为一个叫 ID 的字段，同时保留 Orig2、Dest2、DayL 这些业务字段。记得指定 value_vars 和 value_name，然后把自动生成的 variable 列扔掉，这样得到的就是干净的长表。

tmp = df2.melt(
    id_vars=['Orig2', 'Dest2', 'DayL'],  # 保持不变的字段
    value_vars=['IDL1', 'IDL2'],          # 待熔合的 ID 列
    value_name='ID'                      # 新 ID 列名
).drop('variable', axis=1)  # 删除自动生成的 'variable' 列

2. 执行主表合并
   以 df1 为左表，tmp 为右表，按 ID 列做左连接。这一步会让 df1 的每一行去尝试匹配所有可能的 IDL1/IDL2 对应的记录。

tmp2 = df1.merge(tmp, on='ID', how='left')

3. 用业务逻辑过滤掉冗余匹配
   根据题目要求，只保留那些 Orig ≠ Orig2 或者 Dest ≠ Dest2 的记录——也就是说，排除掉完全重复的航线组合。用布尔索引轻松搞定：

result = tmp2[tmp2['Orig'] != tmp2['Orig2'] | tmp2['Dest'] != tmp2['Dest2']]

✅ 关键优势：这个方案天然支持任意数量的 ID 映射列——只要往 value_vars 里添加新列就行。而且过滤逻辑可以自由扩展，比如再加个 A == A2、F == F2 之类的校验，真正做到了“一套逻辑通用解”。

⚠️ 注意事项：

• 如果 IDL1 或 IDL2 里有缺失值（NaN），melt() 会保留它们。建议在合并前对 tmp['ID'] 执行 dropna()，避免意外的空匹配。
• 一对多匹配时，merge 会产生笛卡尔积式的膨胀。本例中通过后续的布尔过滤隐式去重了，但如果业务要求严格的一对一映射，最好先在 tmp 里按规则（比如取 DayL 最小值）预先去重。
• 字段名冲突需要提前处理——比如 df2 里如果已经有叫 ID 的列，记得先重命名再 melt。

总结下来，melt → merge → filter 这一套组合拳，既简洁又表达力强，处理这类复杂多列 ID 关联问题，可以说是相当顺手了。