Pandas重塑数据：melt()转换时间序列格式

本教程详细介绍了如何使用Pandas库中的melt()函数，将常见的宽格式数据集（如以年份作为列的世界银行数据）高效地转换为更适合分析和可视化的长格式数据。通过具体的代码示例和参数解析，读者将学会如何将分散在多个列中的值聚合到一个新列中，并为原列名创建一个对应的标识列，从而实现数据结构的优化。

在数据分析和处理中，我们经常会遇到需要改变数据结构以适应特定分析工具或可视化需求的场景。其中一个常见的需求是将“宽格式”数据转换为“长格式”数据。宽格式数据通常意味着某些类别信息分散在多个列中，而长格式数据则将这些类别信息和对应的值聚合到少数几个列中。

1. 理解宽格式与长格式数据

考虑一个典型的世界银行数据集，其中包含了不同年份的指标数据。原始数据可能呈现为宽格式：

当前数据结构示例 (宽格式):

TOPIC	COVENTRY	CODE	CURRENCY	2000	2001	2002	2003
Inflatio	United Kingdom	UK	GBP	x	x	x	x

这种格式在某些情况下可能难以直接进行时间序列分析或绘制趋势图，因为年份作为列名而不是一个独立的变量。

我们的目标是将其转换为长格式，使得每一年份的数据都作为独立的一行，并新增一个“年份”列和一个“指标值”列：

期望数据结构示例 (长格式):

COVENTRY	CODE	CURRENCY	YEAR	INFLATION
United Kingdom	UK	GBP	2000	x
United Kingdom	UK	GBP	2001	x
United Kingdom	UK	GBP	2002	x
United Kingdom	UK	GBP	2003	x

2. 使用 Pandas melt() 函数进行数据重塑

Pandas库提供了强大的melt()函数，专门用于将DataFrame从宽格式重塑为长格式。这个函数的核心思想是将一个或多个列“unpivot”（非枢轴化），即将这些列的列名转换为新的一列中的值，并将这些列中的数据转换为另一列中的值。

melt()函数的主要参数包括：

• id_vars: 一个列表，包含不进行非枢轴化的标识符列。这些列将保持不变，并在结果DataFrame中重复出现。
• value_vars: 一个列表，包含需要进行非枢轴化的值列。这些列的列名将成为新变量列的值，其对应的值将成为新值列的值。如果省略，则除了id_vars之外的所有列都将被视为value_vars。
• var_name: 一个字符串，用于指定新创建的变量列的名称（该列将包含原value_vars的列名）。
• value_name: 一个字符串，用于指定新创建的值列的名称（该列将包含原value_vars的值）。

3. 示例代码与解析

下面我们将通过一个具体的Python示例来演示如何使用melt()函数实现上述数据转换。

首先，我们创建一个模拟的原始DataFrame：

import pandas as pd

# 创建原始的宽格式DataFrame
data = {
    "TOPIC": ["Inflatio"],
    "COVENTRY": ["United Kingdom"],
    "CODE": ["UK"],
    "CURRENCY": ["GBP"],
    "2000": ["x_2000"],
    "2001": ["x_2001"],
    "2002": ["x_2002"],
    "2003": ["x_2003"]
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

原始DataFrame输出:

原始DataFrame:
      TOPIC        COVENTRY CODE CURRENCY    2000    2001    2002    2003
0  Inflatio  United Kingdom   UK      GBP  x_2000  x_2001  x_2002  x_2003

接下来，使用melt()函数进行数据重塑：

# 定义作为标识符的列
id_columns = ["TOPIC", "COVENTRY", "CODE", "CURRENCY"]

# 定义需要非枢轴化的年份列
value_columns = ["2000", "2001", "2002", "2003"]

# 使用melt()函数进行数据重塑
out = df.melt(
    id_vars=id_columns,
    value_vars=value_columns,
    var_name='YEAR',        # 新的变量列名称
    value_name="INFLATION"  # 新的值列名称
)

print("\n重塑后的DataFrame:")
print(out)

重塑后的DataFrame输出:

重塑后的DataFrame:
      TOPIC        COVENTRY CODE CURRENCY  YEAR INFLATION
0  Inflatio  United Kingdom   UK      GBP  2000    x_2000
1  Inflatio  United Kingdom   UK      GBP  2001    x_2001
2  Inflatio  United Kingdom   UK      GBP  2002    x_2002
3  Inflatio  United Kingdom   UK      GBP  2003    x_2003

代码解析：

1. id_vars=id_columns: 我们指定"TOPIC", "COVENTRY", "CODE", "CURRENCY"这些列作为标识符。它们在重塑过程中不会被改变，其值会在结果DataFrame中根据需要重复。
2. value_vars=value_columns: 我们指定"2000", "2001", "2002", "2003"这些列是需要被“融化”的列。它们的列名将成为新YEAR列的值，它们各自单元格中的数据将成为新INFLATION列的值。
3. var_name='YEAR': 指定将原value_vars的列名（即"2000", "2001"等）聚合到的新列的名称为'YEAR'。
4. value_name="INFLATION": 指定将原value_vars中的数据聚合到的新列的名称为'INFLATION'。

通过上述操作，我们成功将宽格式的世界银行数据转换为长格式，使得年份和通货膨胀值都成为独立的列，极大地简化了后续的数据分析和可视化流程。

4. 注意事项与最佳实践

• 选择正确的id_vars和value_vars: 这是melt()函数最关键的部分。id_vars应包含所有你希望保持不变的识别信息，而value_vars则应包含所有你希望“非枢轴化”的列。
• 数据类型: melt()函数默认会将value_vars中的所有值转换为一个共同的数据类型（通常是字符串或对象），以容纳所有可能的值。重塑后，你可能需要对新生成的YEAR或INFLATION列进行类型转换（例如，将YEAR从字符串转换为整数，如果它们代表年份）。
• 与pivot_table()的关系: melt()和pivot_table()（或pivot()）是互补的操作。melt()将宽格式转换为长格式（unpivot），而pivot_table()将长格式转换为宽格式（pivot）。
• 性能: 对于大型数据集，melt()的性能通常很高，因为它是由Pandas底层优化过的操作。

5. 总结

pandas.melt()函数是数据预处理中一个极其有用的工具，尤其在处理时间序列数据或需要将多列指标转换为统一格式进行分析时。通过合理配置id_vars、value_vars、var_name和value_name参数，可以高效地将宽格式数据转换为更易于管理和分析的长格式数据，从而为后续的数据探索、建模和可视化奠定坚实基础。掌握melt()的使用，能够显著提升数据处理的效率和灵活性。