使用 Pandas 进行部分字符串匹配合并数据表

本文介绍如何使用 Pandas 在两个包含球员姓名的数据表中，基于部分字符串匹配进行合并。针对一个表中使用全名（例如："Kevin Oghenetega Tamaraebi Bakumo-Abraham"），另一个表中使用简称或昵称（例如："Tammy Abraham"）的情况，提供了一种高效的解决方案，避免了完全匹配的局限性，提升了数据整合的准确性。

在数据分析中，经常会遇到需要合并来自不同来源的数据表的情况。当用于连接的关键字段（例如姓名）在不同表中格式不一致时，简单的精确匹配往往无法满足需求。例如，一个表可能包含球员的全名，而另一个表可能包含他们的简称或昵称。这时，就需要使用部分字符串匹配的方法来合并数据表。Pandas 提供了强大的字符串处理功能，可以有效地解决这类问题。

以下是一种使用 str.contains 函数进行部分字符串匹配合并数据表的方案：

1. 准备数据

首先，假设我们有两个 Pandas DataFrame：df1 和 df2。df1 包含球员的简称或昵称，存储在 'short_name' 列中；df2 包含球员的全名，存储在 'long_name' 列中。

import pandas as pd

# 示例数据
data1 = {'short_name': ['Tammy Abraham', 'Cristiano', 'Messi']}
df1 = pd.DataFrame(data1)

data2 = {'long_name': ['Kevin Oghenetega Tamaraebi Bakumo-Abraham', 'Cristiano Ronaldo', 'Lionel Messi'],
         'overall': [80, 94, 93]}
df2 = pd.DataFrame(data2)

print("DataFrame 1:\n", df1)
print("\nDataFrame 2:\n", df2)

2. 定义匹配函数

接下来，定义一个函数，该函数接受 df1 中的一个简称，并在 df2 的全名列中查找包含该简称的行。

def find_match(short_name, df2):
    """
    在 df2 中查找包含 short_name 的行。
    """
    matches = df2[df2['long_name'].str.contains(short_name, case=False)] # case=False 忽略大小写
    return matches

3. 应用匹配函数并合并

现在，将该函数应用于 df1 的 'short_name' 列，并将匹配的结果合并到 df1 中。

def merge_dataframes(df1, df2):
    """
    使用部分字符串匹配合并 df1 和 df2。
    """
    merged_data = []
    for index, row in df1.iterrows():
        short_name = row['short_name']
        matches = find_match(short_name, df2)

        if not matches.empty:
            # 假设每个 short_name 只有一个最佳匹配，取第一个匹配结果
            match = matches.iloc[0].to_dict()
            merged_row = {**row.to_dict(), **match}  # 合并两个字典
            merged_data.append(merged_row)
        else:
            # 如果没有找到匹配项，则添加带有 NaN 值的行
            merged_row = {**row.to_dict(), 'long_name': None, 'overall': None}
            merged_data.append(merged_row)

    return pd.DataFrame(merged_data)

final_df = merge_dataframes(df1, df2)
print("\nMerged DataFrame:\n", final_df)

代码解释：

• str.contains(short_name, case=False)：该函数用于检查 df2['long_name'] 中的每个字符串是否包含 short_name。 case=False 参数使匹配不区分大小写。
• matches = df2[df2['long_name'].str.contains(short_name, case=False)]：这行代码返回一个 DataFrame，其中包含所有 long_name 列包含 short_name 的行。
• matches.iloc[0].to_dict()：如果找到匹配项，这行代码将获取第一个匹配行的所有数据，并将其转换为字典。 如果有多个匹配项，则可以根据具体情况选择最佳匹配项。
• {**row.to_dict(), **match}：使用字典解包运算符 ** 将 df1 中的行和 df2 中的匹配行合并到一个新的字典中。
• pd.DataFrame(merged_data)：最后，将合并后的数据转换为一个新的 DataFrame。

注意事项：

• 数据质量： 部分字符串匹配的准确性高度依赖于数据的质量。确保简称或昵称在全名中具有一定的辨识度。
• 多个匹配项： 如果一个简称在全名列中匹配到多个结果，需要根据实际情况选择最佳匹配。可以考虑使用更复杂的匹配算法，例如模糊匹配或基于规则的匹配。
• 性能： 对于大型数据集，使用循环可能会影响性能。可以考虑使用 Pandas 的 apply 函数或其他更高效的方法来优化代码。
• 大小写敏感性： 默认情况下，str.contains 函数区分大小写。可以使用 case=False 参数来忽略大小写。

总结：

本文介绍了一种使用 Pandas 进行部分字符串匹配合并数据表的方法。该方法基于 str.contains 函数，可以有效地处理姓名等关键字段格式不一致的情况。在实际应用中，需要根据数据的特点和需求，选择合适的匹配策略和优化方法，以确保数据整合的准确性和效率。