Pandas多文件数据关联与提取技巧

本教程详细介绍了如何利用 Python 的 Pandas 库高效地处理多个文本文件中的数据关联与提取任务。通过将文件数据加载为 DataFrame，并运用 merge 操作进行数据关联，我们可以轻松实现复杂的数据查找逻辑，例如根据一个文件中的 IP 地址在第二个文件中查找对应的 MAC 地址，再根据 MAC 地址在第三个文件中查找对应的端口信息，最终输出整合后的结果，极大地简化了传统的文件逐行处理流程。

在日常数据处理工作中，我们经常会遇到需要从多个文件中提取并关联特定信息的需求。例如，给定一个包含 IP 地址列表的文件、一个包含 IP-MAC 映射关系的文件，以及一个包含 MAC-端口映射关系的文件，我们的目标是根据 IP 地址依次查找对应的 MAC 地址和端口信息。传统的做法可能涉及嵌套的文件读取和逐行字符串匹配，这不仅代码复杂，效率也较低。Python 的 Pandas 库为这类任务提供了强大而简洁的解决方案。

1. 准备工作：导入 Pandas 并加载数据

首先，我们需要导入 Pandas 库。然后，将每个文本文件的数据加载到 Pandas DataFrame 中。虽然实际应用中通常使用 pd.read_csv() 等函数从文件中读取数据，但为了演示方便，我们将按照原始数据结构手动创建 DataFrame。

import pandas as pd

# 文件1: 仅包含IP地址列表
df1 = pd.DataFrame({
    "ipv4": ["1.1.1.1", "1.1.1.2", "1.1.1.3", "1.1.1.6", "1.1.1.11"]
})

# 文件2: 包含IP地址和MAC地址的映射关系
df2 = pd.DataFrame({
  "Protocol": ["Internet", "Internet", "Internet", "Internet", "Internet", "Internet", "Internet"],
  "Address": ["1.1.1.1", "1.1.1.2", "1.1.1.3", "1.1.1.4", "1.1.1.5", "1.1.1.6", "1.1.1.11"],
  "Age (min)": ["5", "-", "-", "0", "0", "64", "23"],
  "Addr": ["6026.aa11.1111", "0006.f2d2.2d2f", "6026.aa33.3333", "Incomplete", "Incomplete", "fa16.6edb.6666", "fa16.7e7d.7777"],
  "Type": ["A", "A", "A", "A", "A", "A", "A"],
  "Interface": ["Ethernet1/49", "Vlan1", "Vlan1", None, None, "Vlan1", "Vlan1"]
})

# 文件3: 包含MAC地址和端口的映射关系
df3 = pd.DataFrame({
    "vlan":[1,1,1,1,1],
    "mac address":["6026.aa11.1111","0006.f2d2.2d2f","6026.aa33.3333","fa16.6edb.6666","fa16.7e7d.7777"],
    "type":["static","dynamic","dynamic","dynamic","dynamic"],
    "protocols":["ip,ipx,assigned,other","ip,ipx,assigned,other","ip,ipx,assigned,other","ip,ipx,assigned,other","ip,ipx,assigned,other"],
    "port":["Switch"," Ethernet1/24"," Ethernet1/12"," Ethernet1/8"," Ethernet1/10"]
})

print("df1:")
print(df1)
print("\ndf2:")
print(df2)
print("\ndf3:")
print(df3)

注意事项:

• 在实际应用中，如果你的数据存储在 file1.txt, file2.txt, file3.txt 等文件中，你可以使用 pd.read_csv('file1.txt', header=None, names=['ipv4']) 或 pd.read_csv('file2.txt', sep='\s+', skiprows=1) 等方法来加载数据。skiprows 参数用于跳过标题行，sep='\s+' 用于处理不规则空格分隔的数据。
• 确保列名与你的合并逻辑相匹配，或者在加载时进行重命名。

2. 数据关联与合并

Pandas 的 merge() 函数是实现数据关联的核心工具。它类似于 SQL 中的 JOIN 操作，可以根据一个或多个共同的列将两个 DataFrame 合并起来。

我们的目标是：

1. 将 df1 (IP列表) 与 df2 (IP-MAC映射) 合并，基于 df1 的 ipv4 列和 df2 的 Address 列。
2. 将上一步合并的结果与 df3 (MAC-端口映射) 合并，基于中间结果的 Addr 列和 df3 的 mac address 列。

我们将使用 how="inner" 参数进行内连接，这意味着只有在两个 DataFrame 中都存在的键值才会被保留在结果中。

# 第一次合并：df1 (IP) 与 df2 (IP-MAC)
# 基于 df1 的 'ipv4' 列和 df2 的 'Address' 列进行合并
merged_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address")

# 第二次合并：merged_ip_mac (IP-MAC) 与 df3 (MAC-端口)
# 基于 merged_ip_mac 的 'Addr' 列和 df3 的 'mac address' 列进行合并
final_df = merged_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")

print("\n最终合并后的 DataFrame (final_df):")
print(final_df)

在上述代码中：

• left_on 指定左侧 DataFrame 中用于合并的列。
• right_on 指定右侧 DataFrame 中用于合并的列。
• how="inner" 表示只保留在两个 DataFrame 的指定列中都存在的行。

3. 提取并格式化所需信息

合并完成后，final_df 包含了所有关联后的数据。我们现在只需要从中提取 ipv4、Addr (MAC地址) 和 port 这三列信息。

# 提取所需的列
output_df = final_df[["ipv4", "Addr", "port"]]

print("\n提取所需信息后的 DataFrame:")
print(output_df)

# 按照指定格式打印结果
print("\n最终输出结果:")
for index, row in output_df.iterrows():
    print(f"ip {row['ipv4']} addr {row['Addr']} port {row['port'].strip()}") # 使用.strip()去除可能存在的空格

这里，我们首先通过 final_df[["ipv4", "Addr", "port"]] 选择了感兴趣的列，创建了一个新的 DataFrame output_df。然后，我们遍历 output_df 的每一行，并使用 f-string 按照要求的格式打印输出。注意 row['port'].strip() 的使用，这是为了去除 file3 中 port 列可能存在的额外空格，以确保输出格式的整洁性。

总结

通过本教程，我们学习了如何利用 Pandas 库高效地处理多文件数据关联与提取任务。相较于传统的文件逐行处理方式，Pandas 的 DataFrame 和 merge() 函数提供了以下显著优势：

• 代码简洁性： 几行代码即可完成复杂的数据关联逻辑。
• 处理效率： Pandas 底层使用 C 语言实现，对大数据集处理性能优越。
• 数据结构化： 将非结构化的文本数据转换为结构化的 DataFrame，便于后续的分析和操作。
• 可读性强： merge 操作的语义清晰，易于理解和维护。

在实际应用中，灵活运用 pd.read_csv()、merge() 的不同 how 参数（如 left, right, outer）以及其他 DataFrame 操作，可以解决各种复杂的数据处理挑战。